Robots.txt վավերացնող

Robots.txt Checker ցույց է տալիս, եթե robots.txt արգելափակում Google crawlers որոշակի URL Ձեր կայքում. Օրինակ, դուք կարող եք օգտագործել այս գործիքը `ստուգելու համար, թե արդյոք Googlebot սողունը կարող է սողալ այն բովանդակության URL- ը, որը ցանկանում եք արգելափակել Google Search- ում:

Եթե ձեր կայքի արմատային գրացուցակում չունեք robots.txt ֆայլ, որոնիչի սողացողները չեն կարողանա գտնել այն: Արդյունքում, նրանք ենթադրելու են, որ նրանց թույլատրվում է սողալ ձեր ամբողջ կայքը.

Google- ը սահմանում է 500 KB (KB) robots.txt ֆայլի չափի սահմանափակում: Բովանդակությունը, որը գերազանցում է ֆայլի առավելագույն չափը, անտեսվում է: Դուք կարող եք նվազեցնել չափը ռոբոտներ.

Robots.txt չի պահանջվում է կայքում. Եթե բոտը այցելում է ձեր կայք, և այն չունի մեկը, այն պարզապես սողում է ձեր կայքը և ինդեքսավորելու էջերը, ինչպես միշտ. Robots.txt անհրաժեշտ է միայն այն դեպքում, եթե դուք ուզում եք ավելի շատ վերահսկողություն, թե ինչ է ստանում սկանավորվել.