Robots.txt Validator
Xác thực tệp robots.txt hiện tại của bạn, kiểm tra giới hạn và trang trợ năng cho trình thu thập dữ liệu.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt Checker hiển thị nếu robots.txt chặn trình thu thập dữ liệu của Google từ các URL nhất định trên trang web của bạn. Ví dụ: bạn có thể sử dụng công cụ này để kiểm tra xem trình thu thập dữ liệu Googlebot có thể thu thập dữ liệu URL của nội dung bạn muốn chặn trong Google Tìm kiếm hay không.
Nếu bạn không có tệp robots.txt trong thư mục gốc của trang web, trình thu thập thông tin của công cụ tìm kiếm sẽ không thể tìm thấy tệp đó. Kết quả là, họ sẽ cho rằng họ được phép thu thập dữ liệu toàn bộ trang web của bạn.
Google thực thi giới hạn kích thước tệp robots.txt 500 KB (KB). Nội dung vượt quá kích thước tệp tối đa sẽ bị bỏ qua. Bạn có thể giảm kích thước của robot.
Robots.txt là không bắt buộc cho trang web. Nếu bot truy cập trang web của bạn và nó không có, nó sẽ chỉ thu thập dữ liệu trang web của bạn và lập chỉ mục các trang như bình thường. Robots.txt chỉ cần thiết nếu bạn muốn kiểm soát nhiều hơn những gì được quét.