Veb-saytingizning ildizida saqlanadigan robots.txt fayli qidiruv robotlari kabi veb-robotlarga qanday kataloglar va fayllarni ko'rishga ruxsat berilganligini tushuntiradi. Robots.txt faylini ishlatish oson, lekin ba'zi narsalarni eslashingiz kerak:
- Qora chiziqli veb-robotlar sizning robots.txt faylingizga e'tibor bermaydi. Eng ko'p uchraydigan turlar zararli dasturlardan iborat bo'lib, robotlar e-pochta manzillarini terish uchun qidiradi.
- Ba'zi yangi dasturchilar robots.txt faylga e'tibor bermaydigan robotlarni yozadilar. Bu odatda xato bilan amalga oshiriladi.
- Sizning robots.txt faylingizni har kim ko'rishi mumkin. Ular doimo robots.txt deb ataladi va har doim veb-saytning ildizida saqlanadi.
- Va nihoyat, agar robots.txt faylida robots.txt faylidan chiqarib olinmagan biror sahifadan robots.txt faylingizdan chiqarib yuborilgan fayl yoki katalogga aloqador kishi bo'lsa, qidiruv tizimlari buni baribir topishi mumkin.
Muhim narsalarni yashirish uchun robots.txt fayllaridan foydalanmang. Buning o'rniga, siz muhim ma'lumotlarni xavfsiz parollar orqasida joylashtirishingiz yoki veb-saytdan butunlay tashlab qo'yishingiz kerak.
Ushbu namunali fayllardan qanday foydalaniladi?
Matnni istagan narsaga eng yaqin bo'lgan namunadan nusxalash va robots.txt faylingizga joylashtiring. Robot, katalog va fayl nomlarini siz tanlagan konfiguratsiyaga mos keladigan tarzda o'zgartirish.
Ikki asosiy Robots.txt fayllari
User-agent: *
Ogohlantirish: /
Bu faylda mavjud bo'lgan har qanday robot (User-agent: *) saytdagi har bir sahifani e'tiborsiz qoldirishi kerakligi haqida xabar beradi (Disallow: /).
User-agent: *
Ogohlantirish:
Ushbu faylda, unga kiradigan har qanday robot (User-agent: *) saytdagi har bir sahifani ko'rish uchun ruxsat etiladi (Disallow:).
Bundan tashqari, robots.txt faylini bo'sh qoldirib yoki saytida hech qanday bo'lmasligi bilan ham qilishingiz mumkin.
Robotlardan muayyan kataloglarni muhofaza qiling
User-agent: *
Disallow: / cgi-bin /
Ogohlantirish: / temp /
Ushbu faylga kiradigan har qanday robot (User-agent: *) katalog / cgi-bin / va / temp / (Disallow: / cgi-bin / Disallow: / temp /) kataloglarini e'tiborsiz qoldirishi kerak.
Maxsus sahifalarni robotlar yordamida muhofaza qiling
User-agent: *
Disallow: /jenns-stuff.htm
Ogohlantirish: /private.php
Ushbu faylda mavjud bo'lgan har qanday robot (User-agent: *) fayllarni /jenns-stuff.htm va /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) fayllarini e'tiborsiz qoldirishi kerakligini aytadi.
Muayyan robotni saytingizga kirishdan saqlanish
Foydalanuvchi-agent: Lycos / xx
Ogohlantirish: /
Bu faylda Lycos bot (User-agent: Lycos / xx) saytida biron-bir joyga kirishiga ruxsat berilmaydi (Disallow: /).
Faqat bitta maxsus robotga ruxsat berish
User-agent: *
Ogohlantirish: /
User-agent: Googlebot
Ogohlantirish:
Ushbu fayl avval yuqoridagi kabi barcha robotlarga ruxsat bermaydi, keyin esa Googlebot (User-agent: Googlebot) har bir narsaga ruxsat beradi (Disallow:).
O'zingiz xohlagan istisnolardan to'liq olish uchun bir nechta chiziqlarni qo'shing
User-agent: * kabi juda ko'p har xil foydalanuvchi-agentlik liniyasini ishlatish yaxshiroq bo'lsa-da, siz istagan darajada aniq bo'lishi mumkin. Esingizda bo'lsin, robotlar faylni tartib bilan o'qiydilar. Shunday qilib, agar birinchi satrlarda barcha robotlar hamma narsadan to'siq qo'yilsa, so'ngra faylda barcha robotlar hamma narsaga kirishga ruxsat berilsa, robotlar hamma narsadan foydalanishlari mumkin.
Agar siz robots.txt faylini to'g'ri yozib qo'yganingizdan amin bo'lmasangiz, robots.txt faylini tekshirish yoki yangisini yozish uchun Google Webmaster Tools'dan foydalanishingiz mumkin.