عناكب البحث هي برامج تقوم بعمل مهام تلقائية على الإنترنت. وعادة تقوم البوتات بإجراء مهام بسيطة ومركبة بصورة متكررة، بمعدل أعلى مما يمكن أن يقوم به الإنسان لوحده. الاستعمال الأكبر للبوتات هو فهرسة صفحات الإنترنت، حيث يقوم برنامج بجلب وتحليل المعلومات من خوادم الويب تلقائياً بسرعة أعلى من سرعة الحاسوب، كل خادم بالإمكان احتوائه على ملف يسمى robots.txt، يحتوي على قواعد لفهرسة هذا الخادم وعلى البوت طاعتها. (المصدر)

تأتي أهمية عناكب البحث من أنها أحد أهم طرق أرشفة موقعك في محركات البحث، و تحديث صفحاتك الموجودة فيها. كذلك فإن عناكب البحث مسئولة عن تحسين ظهور موقعك في نتائج محركات البحث الطبيعية (الغير مدفوعة) بحيث يظهر في النتائج الأولى.

أضع لكم 5 معلومات يجب وضعها في الحسبان عندما تقرر إشهار موقعك.