Robots.txt ֆայլը, xml- քարտեզի հետ միասին, պարունակում է գրեթե ամենակարևոր ինֆորմացիան կայքի մասին. Այն ցույց է տալիս, թե ինչպես «կարդալ» կայքը, որ էջերն են կարևոր և որոնք պետք է բաց թողնել: Robots.txt- ը նաև առաջին էջն է, որը պետք է դիտարկի որոնման համակարգը, եթե երթևեկությունը ընկնի ձեր կայքի վրա:

Ինչ է Robots.txt?

Robots.txt ֆայլը կամ ինդեքս ֆայլը պարզ տեքստային փաստաթուղթ է, որը կոդավորված է UTF-8- ում, վավեր է http, https և FTP պրոտոկոլների համար: Ֆայլը ցույց է տալիս որոնման համակարգերին, թե որ էջերն / ֆայլերն կարդալ առաջնահերթ, որը երկրորդական կամ չկարդալ առհասարակ:

Ֆայլը պետք է տեղակայված լինի կայքի արմատային ֆայլերի հետ `պարզ տեքստային փաստաթղթի տեսքով և հասանելի լինի https://site.com/robots.txt:

Robots.txt ֆայլը սկանավորելիս որոնման համակարգերը  ստանում են երեք հրահանգներից մեկը.

1. մասնակի մուտք. կայքի առանձին հատվածների սկանավորում ;
2. լիարժեք մուտք. կարող եք սկանավորել ցանկացած բան;
3. ամբողջական արգելք. ռոբոտը չի կարող ինչ-որ բան սկանավորել:

Robots.txt ֆայլը կանավորելուց հետո որոնման ռոբոտները ստանում են հետևյալ պատասխանները.

1. 2xx - սկանավորումը հաջող էր;
2. 3xx – որոնման ռոբոտը հետևում է վերահղմանը այնքան ժամանակ, քանի դեռ այլ պատասխան «հրահանգ» չի ստանում: Շատ հաճախ ռոբոտը հինգ փորձ է ունենում, մինչ 3xx պատասխանից բացի այլ պատասխան կստանա, ապա գրանցվում է 404 սխալ;
3. 4xx - որոնման ռոբոտը կարծում է, որ հնարավոր է կարդալ կայքի ամբողջ բովանդակությունը.
4. 5xx - գնահատվում են որպես սերվերի ժամանակավոր սխալներ, սկանավորումն ամբողջությամբ արգելված է: Ռոբոտը կվերասկանավորի ֆայլին այնքան ժամանակ, քանի դեռ այլ պատասխան չի ստացել: Google որոնման ռոբոտը կարող է որոշել `կայքի բացակայող էջերի պատասխանը ճիշտ է կազմված, թե սխալ, այսինքն` եթե 404 սխալի փոխարեն, էջը վերադարձնում է 5xx պատասխան , այս դեպքում էջը կմշակվի 404 պատասխան կոդով:

Ինչու է պետք robots.txt ֆայլը

Օրինակ ՝ երբեմն ռոբոտները չպետք է այցելեն ՝

1. Կայքի էջեր օգտագործողների անձնական տեղեկություններով;
2. Տեղեկատվություն ուղարկելու տարբեր էջեր;
3. Հայելային կայքեր;
4. որոնման արդյունքների էջեր: