Robots.txt Pengesah
Sahkan fail robots.txt semasa anda, semak halaman sekatan dan aksesibiliti untuk perayap.
Enter the URL in the format: https://example.com/
Enter the URL in the format: https://example.com/
Robots.txt Checker menunjukkan jika robots.txt menyekat crawler Google dari URL tertentu di laman web anda. Sebagai contoh, anda boleh menggunakan alat ini untuk memeriksa sama ada crawler Googlebot boleh merangkak URL kandungan yang ingin anda sekat dalam Carian Google.
Jika anda tidak mempunyai fail robots.txt dalam direktori root tapak web anda, crawler enjin carian tidak akan dapat menemuinya. Akibatnya, mereka akan menganggap bahawa mereka dibenarkan merangkak seluruh laman web anda.
Google menguatkuasakan had saiz fail robots.txt 500 KB (KB). Kandungan yang melebihi saiz fail maksimum diabaikan. Anda boleh mengurangkan saiz robot.
Robots.txt tidak diperlukan untuk laman web. Sekiranya bot mengunjungi laman web anda dan tidak memilikinya, ia hanya akan merangkak laman web anda dan mengindeks halaman seperti biasa. Robots.txt hanya diperlukan jika anda mahukan lebih banyak kawalan ke atas apa yang diimbas.