Cloudflare vừa ra mắt Bot Preference Sync, tính năng tự động cập nhật file robots.txt (file văn bản hướng dẫn AI crawler (bot tự động quét web) những nội dung nào được và không được truy cập trên website của bạn) theo đúng chính sách bot đã cài trong dashboard. Có mặt từ gói Free đến Enterprise, bật mặc định cho khách hàng mới. Lợi thế rõ ràng là lấp khoảng trống giữa chính sách khai báo và thực thi thực tế. Nhưng có một đánh đổi: một vendor nay đang nắm bút viết file quyết định trực tiếp đến khả năng AI search nhìn thấy bạn.
Vấn đề thực sự mà tính năng này giải quyết là gì?
File robots.txt và các quy tắc kiểm soát truy cập đang chạy trực tiếp trên server là hai thứ hoàn toàn tách biệt. File robots.txt bạn có thể đã viết từ nhiều năm trước và chưa đụng lại lần nào. Các quy tắc trên server thì vẫn thay đổi liên tục. Không có gì đảm bảo hai bên khớp với nhau.
Khoảng lệch đó gây ra vấn đề thực tế. Theo thông báo của Cloudflare, “khi chính sách bạn khai báo và quy tắc bạn thực thi mâu thuẫn nhau, một số crawler coi đó là cơ sở để bỏ qua chính sách của bạn hoặc cố vượt qua các quy tắc thực thi.”
Phân tích của Search Engine Journal đăng ngày 20/8/2026 dẫn ví dụ cụ thể: robots.txt của tác giả đã liệt kê Bytespider (AI crawler của ByteDance) vào danh sách được phép trong nhiều tháng, dù thực ra tác giả không muốn vậy. Họ chỉ phát hiện ra khi đang viết bài về chính vấn đề này.
Bot Preference Sync xử lý điểm này bằng cách tự sinh các mục robots.txt từ cài đặt dashboard, chèn chúng vào giữa hai dòng đánh dấu # BEGIN Cloudflare Bot Preference Sync và # END Cloudflare Bot Preference Sync, với nội dung cũ bên dưới được giữ nguyên. Tính năng có thể bật hoặc tắt bất kỳ lúc nào theo Cloudflare.
AI crawler được phân loại như thế nào?
Bot Preference Sync sinh chính sách từ ba nhóm Cloudflare giới thiệu ngày 1/7/2026. Mỗi nhóm tương ứng một loại traffic AI khác nhau:
- Search: Crawler lập chỉ mục nội dung để sau này trả lời câu hỏi liên quan. Cloudflare ghi rõ publisher nên kỳ vọng nhận lại referral traffic (lượt truy cập từ nguồn giới thiệu) hoặc đền bù tương xứng.
- Agent: Hoạt động tự động thời gian thực thay mặt người dùng, chẳng hạn chat fetch bot và browser-use agent (phần mềm tự điều hướng web để hoàn thành tác vụ).
- Training: Crawler thu thập nội dung để huấn luyện hoặc fine-tune (tinh chỉnh) mô hình AI.
Với mỗi nhóm, publisher có thể chọn: chặn trên tất cả trang, chặn chỉ trên trang hiển thị quảng cáo, hoặc cho phép hoàn toàn.
BotBase của Cloudflare (danh mục tra cứu mọi bot mà Cloudflare theo dõi, dành cho khách hàng Enterprise Bot Management) cho thấy cách từng bot đã biết được phân loại. Ngoài ba nhóm trên, hệ thống còn có các nhóm như Transact, Data Collection, SEO và Ads Verification.
Để tham chiếu về một bot lớn: tài liệu của Google xác nhận Google-Extended là token (mã định danh trong robots.txt) để publisher kiểm soát việc nội dung có được dùng huấn luyện các thế hệ mô hình Gemini hay không. Google nói rõ Google-Extended không ảnh hưởng đến việc website có xuất hiện trong Google Search hay không, không phải tín hiệu xếp hạng, và Googlebot luôn tuân theo robots.txt khi crawl tự động (theo tài liệu Google Common Crawlers).
Điều gì thay đổi với tên miền mới từ ngày 15/9/2026?
Từ ngày 15/9/2026, tên miền mới onboard Cloudflare nhận mặc định mới: bot thuộc nhóm Training hoặc Agent bị chặn trên các trang hiển thị quảng cáo, trong khi nhóm Search vẫn được phép. Crawler đa mục đích kết hợp Search và Training cũng chịu ảnh hưởng của mặc định chặn Training từ ngày này. Cloudflare cho biết tất cả khách hàng có thể opt out (không áp dụng mặc định) bất kỳ lúc nào trước ngày 15/9.
Mặc định này đồng nghĩa chủ website mới chưa điều chỉnh gì sẽ mặc định chặn training và agent crawler khỏi các trang có quảng cáo.
Blog Cloudflare đưa ví dụ về sự khác biệt theo mô hình kinh doanh: một cửa hàng thương mại điện tử có thể muốn cho phép mọi crawler để sản phẩm xuất hiện khi ai đó hỏi chatbot về gợi ý mua hàng, trong khi publisher kiếm tiền từ quảng cáo có thể muốn ngược lại.
Mô hình ba nhóm còn thiếu sót ở đâu?
Bot Preference Sync đặt chính sách theo nhóm, không phải từng crawler riêng lẻ. Phân tích của Search Engine Journal chỉ thẳng điểm này: tính năng “không thể diễn đạt điều mà nhiều website thực sự muốn.” Một publisher có thể muốn cho phép một training crawler cụ thể trong khi chặn crawler khác, hoặc cho phép một agent nhất định trong khi hạn chế các agent còn lại. Hệ thống hiện tại không cung cấp độ chi tiết đến từng crawler qua robots.txt được sinh tự động.
Tính đến ngày 13/9/2026, Bot Preference Sync chưa xuất hiện trong bots changelog của Cloudflare (vẫn dừng ở 1/7), chưa có trong tài liệu bots, và chưa sinh block nào trong robots.txt của tác giả SEJ, dù đã được thông báo ba tuần trước đó. Đây là sản phẩm ở mức thông báo, tài liệu công khai vẫn còn đang theo kịp (theo Search Engine Journal, 13/9/2026).
Ý nghĩa với khả năng hiển thị trên AI search
Nói thẳng: robots.txt là tín hiệu đầu tiên một AI crawler đọc trước khi quyết định có lập chỉ mục nội dung của bạn hay không. Nếu file đó nói một đằng mà server làm một nẻo, bạn đã trao cho bất kỳ crawler nào muốn bỏ qua bạn một lý do được ghi thành văn bản. Bot Preference Sync xóa sự mâu thuẫn đó tự động. Thực sự có ích.
Vấn đề tinh tế hơn là về việc ai đang nắm mặc định. Khi Bot Preference Sync bật theo mặc định, định nghĩa nhóm của Cloudflare định hình nội dung robots.txt của bạn. Một crawler vừa lập chỉ mục nội dung cho câu trả lời AI vừa huấn luyện trên nội dung đó có thể được xếp vào nhóm Search, tùy cách Cloudflare phân loại. Phân loại đó có khớp với ý định thực sự của publisher hay không là câu hỏi đáng kiểm tra trước khi để tính năng tự chạy.
Với publisher muốn xuất hiện trong kết quả AI search, rủi ro rất cụ thể. Chặn nhóm Agent theo mặc định, ví dụ, có thể giảm khả năng nội dung của bạn được lấy khi AI assistant fetch trang theo thời gian thực thay mặt người dùng. Chủ động cho phép đúng nhóm, thay vì kế thừa mặc định của vendor, giữ quyết định đó trong tay publisher.
Dashboard Business Insights của Cloudflare (dành cho khách hàng Enterprise Bot Management) bổ sung dữ liệu có giá trị: nó cho thấy mỗi crawler gửi lại bao nhiêu giá trị cho doanh nghiệp, giúp căn chỉnh chính sách theo kết quả referral thực tế thay vì chỉ dựa vào giả định về nhóm phân loại.
Góc nhìn Hingewise
Hãy hình dung robots.txt như tờ thông báo dán trước cửa, còn server enforcement (quy tắc thực thi kiểm soát truy cập trên server) như cái khóa thật sự. Nếu thông báo nói “mời vào” mà cửa lại khóa, ai đó có thể chụp lại tờ giấy đó và lý luận rằng bạn không thực sự muốn khóa. Bot Preference Sync đảm bảo hai thứ này nói cùng một điều, tự động. Đó là tiến bộ thực sự.
Nhưng có điều bản tin chưa nói thẳng: ranh giới giữa các nhóm Search, Agent và Training mờ hơn tên gọi nghe có vẻ. Một số crawler lớn vừa lập chỉ mục (Search) vừa phục vụ retrieval (truy xuất nội dung theo ngữ cảnh khi AI cần trả lời) cho người dùng cuối trong thời gian thực, tùy ngữ cảnh gọi. Cách Cloudflare phân loại một bot cụ thể trong BotBase có thể không khớp với cách publisher muốn đối xử với bot đó.
Điều này quan trọng với những ai đang theo dõi Share of Model (tỷ lệ AI nhắc đến thương hiệu so với đối thủ): chặn nhầm một agent crawler có thể nghĩa là nội dung của bạn không được lấy khi AI assistant đang tìm câu trả lời theo thời gian thực. Lập trường của Hingewise: Bot Preference Sync đáng bật, nhưng nên dành 15 phút kiểm tra phân loại từng crawler quan trọng trong BotBase trước khi để tính năng tự chạy, đặc biệt nếu bạn đang chủ động muốn được AI search trích dẫn.
Cần kiểm tra gì trước khi bật Bot Preference Sync
- Xem lại robots.txt hiện tại: liệt kê tất cả crawler đang được phép hoặc bị chặn, đối chiếu với ý định thực tế.
- Kiểm tra cài đặt bot trong Cloudflare dashboard: ba nhóm Search, Agent, Training đang được cấu hình thế nào.
- Tra BotBase (nếu dùng Enterprise Bot Management) để xem từng crawler quan trọng được xếp nhóm gì trước khi để tính năng sinh robots.txt tự động.
- Xác định mô hình kinh doanh ảnh hưởng đến quyết định: web thương mại điện tử và web nội dung có quảng cáo cần cấu hình khác nhau.
- Quyết định rõ về nhóm Agent: nếu bạn muốn nội dung xuất hiện khi AI assistant fetch trang theo thời gian thực, cân nhắc kỹ trước khi để mặc định chặn nhóm này.
- Kiểm tra lại robots.txt sau khi bật: xác nhận nội dung được sinh ra khớp đúng với ý định đã cài trong dashboard.
- Đặt lịch xem lại định kỳ: Cloudflare có thể cập nhật cách phân loại bot, nên chính sách cũng cần kiểm tra lại theo thời gian.
Nguồn: Cloudflare Blog, 21/8/2026; Search Engine Journal, 20/8/2026 và 13/9/2026; Cloudflare Developers Changelog, 1/7/2026; Google Common Crawlers Documentation
Bài viết được soạn với sự hỗ trợ của AI từ các nguồn dẫn ở trên và đối chiếu với các nguồn đó trước khi đăng. "Góc nhìn Hingewise" là nhận định biên tập của Hingewise, dựa trên khung phân tích và lập trường chúng tôi dùng trong công việc GEO. Cách chúng tôi làm việc: Chính sách biên tập.