Robots.txt գեներատոր

The robots.txt ֆայլը իսկապես պարզ տեքստային ֆայլ. Դրա հիմնական գործառույթն է կանխել Google- ի նման որոնիչների որոշ սողացողներ SEO- ի կայքում բովանդակության սողացող և ինդեքսավորելու համար: Եթե վստահ չեք, արդյոք ձեր կայքը կամ ձեր հաճախորդի կայքը ունի robots.txt ֆայլ, դա հեշտ է ստուգել. Պարզապես մուտքագրեք example.com/robots.txt. Դուք կարող եք գտնել կամ սխալ էջ կամ պարզ ձեւաչափով էջ.

robots.txt ֆայլ ստեղծելու տարբեր եղանակներ կան: Դուք կարող եք ստեղծել այն ձեր: Բովանդակության կառավարման համակարգ, Համակարգիչ որից հետո դուք վերբեռնել այն միջոցով Ձեր վեբ սերվերի, Ձեռնարկ կառուցել եւ վերբեռնել Webserver.

Առաջին ֆայլը, որը նայում է որոնիչի բոտերին, ռոբոտի տեքստային ֆայլն է, եթե այն չի հայտնաբերվել, ապա մեծ հավանականություն կա, որ սողացողները չեն ինդեքսավորելու ձեր կայքի բոլոր էջերը: Այս փոքրիկ ֆայլը կարող է փոխվել ավելի ուշ, երբ դուք ավելացնել ավելի շատ էջեր մի քիչ հրահանգների, բայց համոզվեք, որ դուք չեք ավելացնել վարպետ էջը չթույլատրող դիրեկտիվի. Google- ը աշխատում է սողալ բյուջե; այս բյուջեն հիմնված է սկան սահմանաչափի վրա:

Կայքի քարտեզը կենսական նշանակություն ունի բոլոր կայքերի համար, քանի որ այն պարունակում է օգտակար տեղեկատվություն որոնիչների համար: Կայքի քարտեզը պատմում է բոտերին, թե որքան հաճախ եք թարմացնում ձեր կայքը, ինչ բովանդակություն է ապահովում ձեր կայքը: Դրա հիմնական նպատակն է տեղեկացնել ձեր կայքի բոլոր էջերի որոնման համակարգերին, որոնք պետք է սողան, մինչդեռ ռոբոտաշինության տեքստային ֆայլը որոնման ռոբոտների համար է: Այն պատմում է crawlers, թե որ էջը սողալ, եւ որը ոչ. Կայքի քարտեզը անհրաժեշտ է, որպեսզի ձեր կայքը ինդեքսավորվի, բայց ռոբոտի txt- ը չէ (եթե դուք չունեք էջեր, որոնք պետք չէ ինդեքսավորվել):