Bu alət nə edir
Verdiyiniz ünvanın domenindən robots.txt faylını tapır, oxuyur və seçdiyiniz robot üçün həmin URL-in bloklanıb-bloklanmadığını hesablayır. Həmçinin faylda göstərilən sitemap-ları və bütün qayda qruplarını sıralayır.
Qayda seçimi Google-un sənədləşdirdiyi məntiqlə aparılır: ən uzun (ən konkret) uyğun qayda qalib gəlir, uzunluq bərabər olduqda isə Allow üstünlük təşkil edir.
robots.txt nə edir və nə etmir
- Edir: robotun səhifəni taramasının qarşısını alır — yəni məzmun endirilmir.
- Etmir: URL-in indeksdən çıxmasını təmin etmir. Xarici linklər varsa, Google bloklanmış URL-i məzmunsuz şəkildə indeksdə saxlaya bilər.
robots.txt ilə bloklamaq, həm də içinə noindex teqi qoymaq. Google bloklanmış səhifəni oxumadığı üçün içindəki noindex teqini heç vaxt görmür və URL indeksdə qala bilər. Düzgün ardıcıllıq: əvvəlcə bloku açın, noindex görünsün, indeksdən çıxandan sonra istəsəniz bloklayın.Nə vaxt istifadə etməli
- Yeni sayt işə salanda — test mühitindən qalan
Disallow: /sətrini tapmaq üçün (bu, ən çox rast gəlinən fəlakətdir). - Səhifə indeksləşmirsə — səbəbin robots bloku olub-olmadığını yoxlamaq üçün.
- CMS yeniləməsindən sonra — faylın təsadüfən dəyişmədiyinə əmin olmaq üçün.
- Tarama büdcəsini idarə edərkən — filtr və axtarış URL-lərinin doğru bloklandığını yoxlamaq üçün.
Tez-tez verilən suallar
robots.txt olmasa nə olur?
Heç nə pis olmur — fayl olmayanda bütün ünvanlar taranmağa açıq sayılır. Bu, xəta deyil.
Səhifəni indeksdən silmək üçün robots.txt kifayətdirmi?
Xeyr. İndeksdən çıxarmaq üçün səhifədə noindex olmalı və bloklanmamalıdır, ya da 404/410 qaytarmalıdır. Ətraflı: 404, 410 və soft 404.
Sitemap sətri vacibdirmi?
Məcburi deyil, amma faydalıdır — robots.txt bütün robotların ilk oxuduğu fayldır, ona görə sitemap ünvanını orada göstərmək kəşfetməni asanlaşdırır.
Crawl-delay işləyirmi?
Googlebot bu direktivi nəzərə almır. Tarama sürətini idarə etmək üçün server cavab müddətini yaxşılaşdırmaq daha təsirlidir.
Sitemap faylının özünü yoxlamaq üçün: Sitemap yoxlayıcısı.