1. الرئيسية
  2. أدوات مجانية
  3. فحص ملف robots.txt
أدوات الشبكات والإنترنت

فحص ملف robots.txt

اكتب نطاق الموقع ومسار الصفحة، واختر الزاحف، لنقرأ robots.txt ونطبق قواعده كما يفعل جوجل: الأطول تطابقًا يفوز، وAllow يفوز عند التساوي.

الأداة: فحص ملف robots.txt

طريقة الاستخدام

  1. اكتب النطاق مثل example.com.
  2. اكتب مسار الصفحة التي تريد اختبارها مثل /blog/post.
  3. اختر الزاحف، ثم اضغط «اختبر».

الأسئلة الشائعة

هل robots.txt يمنع ظهور الصفحة في جوجل؟

يمنع الزحف لا الفهرسة. لإخفاء صفحة استخدم noindex واسمح بالزحف إليها.

ماذا يحدث إن لم يوجد الملف؟

كل شيء مسموح للزحف، وهذا مقبول لأغلب المواقع الصغيرة.

هل أمنع زواحف الذكاء الاصطناعي؟

قرارك. أضف قسمًا باسم الزاحف مثل GPTBot أو CCBot مع Disallow: / إن أردت منعه.

اقرأ أيضًا

أدوات قريبة

كل الأدوات