Ինչպես ստեղծել robots.txt ֆայլ

Օգտագործելով գրառման գրքույկ, կամ ցանկացած այլ տեքստային խմբագիր:

Ֆայլը պետք է պարունակի User-agent հրահանգը և Disallow կանոնը, բացի այդ, կան ևս մի քանի կանոններ:

User-agent — ռոբոտների այցեքարտ

Այն նշանակում է, որ մենք սահմանում ենք robots.txt- ի կանոնները բոլոր որոնման ռոբոտների համար:

Googlebot- ը Google- ի հիմնական ռոբոտն է: Եթե ​​մենք ուզում ենք միայն հաշվել դրա համար:

Yandex- ի համար հիմնական ռոբոտը ... Yandex:

Disallow

Disallow- ը տալիս է հրահանգ, թե որ տեղեկատվությունը, էջը չպետք է սկանավորել:

Disallow : նշանակում է կայքը ամբողջովին բաց է սկանավորման համար

Disallow : / նշանակում է կայքը ամբողջովին փակ է սկանավորման համար: Տվյալ հրահանգը օգտագործվում է հիմնականում այն ժամանակ երբ կայքը դեռ մշակման փուլում է: Ամենակարևորը չմոռանալ հանել հրահանգը ավարտելուն պես:

Disallow : / թղթապանակ/ - երբ ցանկանում ենք սկանավորել տվյալ թղթապանակը

Disallow : / https://seowolf.net/ երբ ցանկանում ենք սկանավորել տվյալ հղումը

Disallow : / https://seowolf.net/uploads/posts/2021-06/1622940867_robot-touch.jpg  այս եղանակով էլ ընտրում ենք կոնկրետ ֆայլ որը պետք չէ սկանավորել

Disallow : /*.gif$ ֆայլի տեսակ որ պետք չէ սկանավորել

Allow – ուղորդել ռոբոտին

Allow- թույլ է տալիս սկանավորել ցանկացած ֆայլ / հրահանգ / էջ: Ասենք, որ անհրաժեշտ է, որ ռոբոտները կարողանան տեսնել միայն էջերը, որոնք սկսվում են  /catalogիսկ մնացաց ամբողջ ինֆորմացիան չսկանավորել: Այս դեպքում սահմանվում է հետևյալ համադրությունը.

Host – հայելի կայքեր ընտրել

Շատ կարևոր հրահանգ Host: https://seowolf.net/ ռոբոտը հրահանգի շնորհիվ կհասկանա որ կայքն է հայելի

Sitemap - կայքի քարտեզ

Կայքի քարտեզը ռոբոտներին տեղեկացնում է, որ ինդեքսավորման համար անհրաժեշտ կայքի բոլոր URL- ները գտնվում են https://seowolf.net/sitemap.xml կայքում:Ռոբոտը սկանավորում է, թե ինչ փոփոխություններ են կատարվել այս ֆայլում և արագորեն թարմացնում է կայքի մասին տեղեկատվությունը:

robots.txt սիմվոլներ

Հիմնական ֆայլի խորհրդանիշներ —  «/, *, $, #».

Օգտագործելով «/» ՝ սիմվոլը մենք ցույց ենք տալիս, թե ինչ ենք ուզում փակել ռոբոտների հայտնաբերումից: Օրինակ, եթե «Disallow» կանոնի մեջ մեկ սլեշ կա, մենք արգելում ենք ամբողջ կայքը սկանավորել: Օգտագործելով երկու նիշ ՝ Դուք կարող եք կանխել որևէ կոնկրետ ֆայլի սկանավորում, օրինակ ՝ / կատալոգ /:

Նման գրառումն նշանակում է, որ մենք արգելում ենք կատալոգ թղթապանակի ամբողջ պարունակությունը սկանավորել, բայց եթե գրում ենք / կատալոգում, ապա մենք արգելում ենք սկանավորել կայքի բոլոր հղումները, որոնք կսկսվեն / կատալոգից:

«*»Այն տեղադրվում է յուրաքանչյուր կանոնից հետո:

«$» Դոլարի նշանը սահմանափակում է աստղանիշի նշանի գործողությունները: Եթե ​​անհրաժեշտ է թույլ չտալ սկանավորել կատալոգի թղթապանակի բոլոր պարունակությունները, բայց միևնույն ժամանակ անհնար է սկանավորել / կատալոգ պարունակող url- ները:

«#» օգտագործվում է մեկնաբանությունների համար:

Ինչպես ստուգել ձեր robots.txt ֆայլը

Եթե ​​ցանկանում եք իմանալ, արդյոք ճիշտ եք լրացրել robots.txt ֆայլը, ստուգեք այն Google և Yandex  գործիքներում: Պարզապես մուտքագրեք robots.txt ֆայլի սկզբնաղբյուրը հղման ձևի մեջ և նշեք կայքը, որը ստուգելու է: