چرا موتورهای جستجو علاقه ای به ایندکس کردن همه صفحات ندارند؟

اطلاعات موجود در اینترنت بسیار حجیم هستند و ایندکس کردن آنها نیازمند سخت افزارها و نرم افزارهای بسیار گرانقیمتی است که هزینه موتورهای جستجو را شدیدا افزایش می دهد. همچنین ایندکس کردن تمام مطالب تا حدودی غیرممکن به نظر می رسد.

به عنوان مثال تمام موتورهای جستجوی فارسی که در سال های اخیر توسط سازمان های مختلف راه اندازی شدند و نهایتا پروژه آنها به شکست منجر شد مشکل اساسی که داشتند در بخش خزنده آنها بود که از نظر زمانبندی و تشخیص کیفیت محتوا دچار مشکل بود و از طرف دیگر امکانات سخت افزاری لازم برای نگهداری داده های حجیم را نداشتند و نرم افزار آنها نهایتا کند و ناکارآمد می شد.

هر داده ای ارزش ایندکس شدن ندارد. مثل محتوای تکراری و داده های کپی که هیچ کمکی به کاربری که به دنبال مطلب خاصی می گردد نخواهند کرد.