seowebsi

از اواسط دهه 1990 میلادی که نخستین موتورهای جستجو اقدام به فهرست کردن وب نخستین کردند، مدیران وب‌سایت‌ها و تولیدکنندگان محتوا، شروع به بهینه‌سازی وب‌سایت‌ها برای موتورهای جستجو نمودند.

در ابتدا تمام کارهایی که مدیران وب‌سایت‌ها باید انجام می‌دادند، ارسال آدرس صفحه به موتورهای مختلفی که یک «عنکبوت» جهت «خزش» آن صفحه می‌فرستادند، استخراج لینک‌های صفحه به سایر صفحات از درون صفحه و بازگرداندن اطلاعات یافت‌شده در صفحه، جهت ایندکس‌شدن بود.

فرایند به این صورت است که عنکبوت موتور جستجو، یک صفحه را دانلود و آن را در سرور موتور جستجو ذخیره می‌کند و یک برنامه دیگر موسوم به ایندکس‌کننده، اطلاعات مختلفی را درباره? صفحه استخراج می‌کند؛ اطلاعاتی از قبیل واژه‌های موجود و محل قرارگیری آن‌ها در صفحه و نیز وزن خاص واژه‌های به‌خصوص و تمام لینک‌های موجود در صفحه، که سپس جهت خزش در زمانی دیگر، در دستور کار قرار می‌گیرد.

مدیران سایت‌ها شروع به بازشناسی ارزش رتبه بالای سایت خود و در دید قرار گرفتن آن در نتایج موتورهای جستجو نمودند که این امر، فرصتی را برای هکرهای غیرمخرب و مخرب شاغل در بخش بهینه‌سازی موتور جستجو مهیا کرد.

یک نمونه از صفحه نتایج موتور جستجو

نسخه‌های اولیه الگوریتم‌های جستجو به اطلاعات فراهم‌شده توسط مدیران وب‌سایت‌ها، نظیر متا تگ واژه‌های کلیدی، یا فایل ایندکس موتورهای جستجو، مانند ای‌ال‌آی‌وب اعتماد و اتکا می‌کردند. متاتگ‌ها یک راهنمایی برای محتوای هر صفحه فراهم می‌کنند.

با این حال، استفاده از داده‌های متا در صفحات ایندکس، کمتر قابل اطمینان بود؛ زیرا انتخاب واژگان در یک متاتگ توسط وب‌سایت‌ها، بالقوه می‌تواند یک نمایش غیردقیق از محتوای واقعی وب‌سایت باشد. داده‌های نادرست، ناقص و ناسازگار در متا تگ‌ها می‌تواند موجب رتبه‌بندی‌شدن صفحه برای جستجوهای غیرمرتبط گردد. تولیدکنندگان محتوای شبکه، همچنین تعدادی از ویژگی‌های منبع اچ‌تی‌ام‌ال، یک صفحه را دست‌کاری کردند تا رتبه صفحه را در موتورهای جستجو بهبود بدهند.

با تأکید بر عواملی مانند تراکم واژه کلیدی، که به‌طور انحصاری تحت کنترل مدیر وب‌سایت است، موتورهای جستجوی اولیه از سوءاستفاده و دست‌کاری رتبه‌بندی رنج می‌بردند.

ازآنجایی‌که موفقیت و محبوبیت یک موتور جستجو از طریق توانایی آن در تولید نتایج مرتبط‌تر در قبال هر جستجوی صورت گرفته مشخص می‌شود، کیفیت پایین یا نتایج نامرتبط می‌تواند سبب سوق دادن کاربران به منابع جستجوی دیگر شود. موتورهای جستجو با توسعه الگوریتمی رتبه‌بندی پیچیده‌تر به این عمل پاسخ دادند؛ که در آن عوامل بیشتری مورد توجه قرار می‌گیرند و دست‌کاری را برای مدیران شبکه، سخت‌تر می‌سازند.

به‌منظور ارائه نتایج بهتر به کاربران خود، موتورهای جستجو باید انطباق یافته و از نتایج صفحاتی اطمینان یابند که نتایج مرتبط‌تری دارند، نه نتایج مربوط به صفحاتی که نامربوط بوده و توسط مدیران شبکه بدون وجدان کاری و با استفاده از کلمات کلیدی متعدد پرشده‌اند.

لری پیج و سرگئی برین، دو دانشجوی فارغ‌التحصیل دانشگاه استنفورد، یک موتور جستجو موسوم به بک‌روب را توسعه دادند که جهت ارزیابی برجستگی صفحات وب، به یک الگوریتم ریاضیاتی تکیه داشت. عددی که توسط الگوریتم محاسبه می‌شد، یعنی «رتبه صفحه»، تابعی است از مقدار و قدرت لینک‌های ورودی. رتبه صفحه، میزان یک صفحه معین را که توسط یک کاربر، که به‌صورت تصادفی شبکه را جستجو می‌کند، مورد دسترسی قرارگرفته، تخمین می‌زند و لینک‌های یک صفحه به صفحه دیگر را دنبال می‌کند.

درواقع، این بدان معناست که برخی لینک‌ها از سایر لینک‌ها قوی‌تر بوده، رتبه صفحه بالاتر احتمال دیده شدن صفحه توسط وب‌گردهای تصادفی را افزایش می‌دهد.