Với Google, bạn nộp sitemap qua Search Console và nhận xác nhận. Với AI crawler (bot tự động thu thập dữ liệu cho hệ thống AI), thường không có cổng nộp nào tương tự. John Mueller của Google nói điều này trong tập podcast Search Off the Record ngày 1/10 (tựa “Do sitemaps still matter?”), và cho biết ông đã thấy AI crawler truy cập cả sitemap lẫn RSS của website mình trực tiếp trong server logs.
Vì sao không thể nộp sitemap trực tiếp cho AI crawler?
Không có giao diện nộp sitemap cho AI crawler, khác với Google Search Console. Mueller nói thẳng trong tập podcast ngày 1/10: các hệ thống huấn luyện AI “thường không có bất kỳ Console hay setup nào để bạn nộp file sitemap.” Điều đó có nghĩa tên file dễ đoán và robots.txt là những tín hiệu thụ động chính mà chủ website có thể dựa vào.
Mueller đề xuất hai cách để AI crawler tìm thấy nội dung:
- Dùng tên mặc định: đặt
sitemap.xmlngay tại thư mục gốc. - Duy trì RSS feed (định dạng cấp nội dung tự động). Feed thường được liên kết trong thẻ
<head>HTML của trang, giúp bất kỳ crawler nào cũng tìm thấy mà không cần biết URL trực tiếp.
robots.txt cũng có thể chứa một dòng Sitemap trỏ đến vị trí file. Theo Search Engine Journal, giao thức sitemap quy định dòng này độc lập với dòng user-agent (luật phân quyền truy cập theo tên bot), nên không gắn với quy tắc của riêng crawler nào.
Mueller thực sự thấy gì trong server logs?
Ông cho biết đã thấy AI crawler truy cập cả file sitemap lẫn RSS của mình trong server logs cá nhân. Mueller không nêu tên crawler cụ thể và nói ông không biết liệu các công ty AI có ghi nhận hành vi này hay không, cũng như họ xử lý file sau khi lấy về như thế nào.
Với chủ website muốn giữ sitemap riêng tư, Mueller gợi ý: đặt tên file khác thường, không đưa vào robots.txt, và nộp trực tiếp lên Google qua Search Console. Đánh đổi là các hệ thống khác, kể cả Bing và AI crawler, sẽ không tìm thấy file đó. Bing nhiều khả năng sẽ cần một lần nộp riêng.
llms.txt có thay được sitemap.xml không?
Chưa được, theo Mueller. llms.txt là định dạng file Markdown mà một số website xuất bản để mô tả nội dung của họ cho hệ thống AI. Khi được hỏi liệu nó có thể thay sitemap XML không, Mueller so sánh với HTML sitemap và nói Google không dùng được vì thiếu định dạng chặt chẽ mà XML yêu cầu.
“Tôi nghĩ kỳ vọng lớn hơn thực tế,” ông nói trong podcast. “Hiện tại không có gì trong số này xảy ra cả.” Ông không phản đối việc thử nghiệm, nhưng sẽ không đặt cược vào đó.
Vào tháng 8, Mueller cho biết các crawler duy nhất trên site thử nghiệm của ông tuyên bố chấp nhận file Markdown là các công cụ SEO. Vào tháng 5, theo Search Engine Journal đưa tin trước đó, hướng dẫn tối ưu hóa AI của Google liệt kê llms.txt trong danh sách các tác vụ website không cần thực hiện cho tính năng AI tạo sinh.
Vì sao Search Console báo “Couldn’t fetch” dù sitemap hợp lệ?
Mueller mô tả hai nguyên nhân trong tập podcast ngày 1/10, và cả hai đều không liên quan đến việc file sitemap có đúng cú pháp hay không.
Nguyên nhân thứ nhất là tải máy chủ: hệ thống của Google có thể quá bận khi thử lấy file, và Search Console ghi nhận đó là “Couldn’t fetch.” Nguyên nhân thứ hai là nhu cầu crawl (mức Google đánh giá cần thu thập thêm từ site đó): Google có thể bỏ qua sitemap khi hệ thống thấy không cần crawl thêm nhiều từ site đó.
“Nhu cầu crawl thường dựa trên chất lượng được đánh giá của một website,” Mueller nói, và thêm rằng “đây không thuần túy là vấn đề kỹ thuật.”
Hồi tháng 2, ông nói với một người dùng Reddit rằng Google sẽ không dùng sitemap nếu không thấy có nội dung mới và quan trọng đáng lập chỉ mục. Trang trợ giúp báo cáo Sitemaps của Google Search Console cũng liệt kê nhu cầu crawl thấp trong số các lý do khiến sitemap không lấy được, bên cạnh robots.txt chặn, manual action chưa giải quyết, và URL sai.
Góc nhìn Hingewise
Điểm mấu chốt nhất của câu chuyện này không phải kỹ thuật mà là quyền kiểm soát: với Google bạn biết sitemap đã được nhận, với AI crawler bạn không có cách nào chắc chắn.
Hãy thử hình dung một site đặt sitemap tên content-index-v2.xml, không có trong robots.txt. Google vẫn tìm được vì nó đã được nộp qua Search Console. Còn AI crawler chạy theo lịch riêng không có cách nào biết file đó tồn tại. Tên mặc định và dòng Sitemap trong robots.txt là những tín hiệu thụ động chính mà các crawler đó có thể dựa vào.
RSS feed đang bị đánh giá thấp trong ngữ cảnh này. Feed đã có cấu trúc, máy đọc được trực tiếp, thường được liên kết từ phần <head> HTML của trang, và server logs của Mueller cho thấy AI crawler đã truy cập chúng. Với site xuất bản nội dung thường xuyên, theo nhận định của Hingewise, một RSS feed được duy trì tốt là một trong những tín hiệu thực tế và ít tốn công nhất để giữ cập nhật cho mục đích AI discovery.
Về llms.txt: ưu tiên cài llms.txt thay vì duy trì sitemap XML chính xác và RSS feed, theo Hingewise, là phân bổ công sức sai chỗ lúc này.
Điểm về nhu cầu crawl còn có hệ quả đáng chú ý: site chất lượng thấp đối mặt với vấn đề kép. Nếu Google giảm nhu cầu crawl vì thấy tín hiệu nội dung yếu, AI crawler sử dụng chỉ số chất lượng tương tự nhiều khả năng cũng tìm thấy ít hơn trên những site đó. File sitemap có thể được phát hiện, nhưng nội dung nó trỏ đến vẫn phải đáng lập chỉ mục. Tên file đúng chuẩn đưa crawler vào; chất lượng nội dung quyết định điều xảy ra tiếp theo.
Gợi ý hành động đơn giản nhất của Mueller cũng là gợi ý ít kỹ thuật nhất: kiểm tra server logs. Đó là nơi ông thấy AI crawler. Với chủ website không có quyền truy cập công cụ nội bộ của Google, server logs vẫn là cách trực tiếp nhất để kiểm tra liệu AI crawler có đang tiếp cận sitemap hoặc RSS của bạn hay không.
Checklist nhanh trước lần review sitemap tiếp theo
- Xác nhận sitemap chính dùng tên mặc định dễ nhận biết (như
sitemap.xml) đặt tại thư mục gốc của site. - Kiểm tra robots.txt có dòng
Sitemaptrỏ đến file sitemap không. - Xác minh URL của RSS feed có trong thẻ
<head>HTML trên các trang của bạn không. - Kéo server logs và lọc theo chuỗi user-agent của AI crawler đã biết để xem bot nào đang truy cập URL sitemap hoặc feed của bạn.
- Nếu Search Console báo “Couldn’t fetch”, điều tra nhu cầu crawl (chất lượng nội dung) chứ không chỉ kiểm tra lỗi kỹ thuật.
Nguồn: Search Engine Journal, 5/10/2026; Google Search Console Help, Sitemaps report; Search Off the Record podcast, tập 1/10/2026, qua SEJ.
Bài viết được soạn với sự hỗ trợ của AI từ các nguồn dẫn ở trên và đối chiếu với các nguồn đó trước khi đăng. "Góc nhìn Hingewise" là nhận định biên tập của Hingewise, dựa trên khung phân tích và lập trường chúng tôi dùng trong công việc GEO. Cách chúng tôi làm việc: Chính sách biên tập.