چطور موتورهای جستجو خزیده و ایندکس می کنند؟

ایندکس کردن محتوا یعنی اضافه کردن محتوای یک صفحه وب، به فهرست جستجوی گوگل برای رتبه بندی آن صفحه.

مرحله ای است که رتبه بندی سایت پس از خزیدن یک وب سایت آغاز می شود.

وقتی یک محتوای جدید در سایت تان ایجاد می کنید راه های زیادی برای ایندکس کردن آن وجود دارد.

ساده ترین راه این است که هیچ کاری انجام ندهید.

گوگل دارای خزنده هایی هست که لینک ها را دنبال می کنند.

اگر وب سایت تان در فهرست جستجوی گوگل باشد و محتوای جدید از داخل سایت به آن لینک شده باشد، بالاخره گوگل آن را کشف کرده و به فهرستش اضافه می کند.

چگونه محتوا را سریع تر ایندکس کنیم؟

اگر محتوا مهم باشد یا تغییرات جدی در صفحه ایجاد کرده باشید که می خواهید گوگل درباره آن بداند، مثلا وقت هایی که یک صفحه را سئو کرده اید یا عنوان یا توضیحات متا را تغییر داده اید، می توانید از روش های سریع تر برای ایندکس کردن، استفاده کنید.

ایندکس کردن توسط XML-Sitemap

نقشه های XML قدیمی ترین و به طور کلی روشی قابل اعتماد برای جلب توجه موتورهای جستجو به محتوا هستند.

این نقشه لیستی از تمام صفحات سایت شما و جزییات بیشتری در مورد آن مانند آخرین زمان اصلاح، به موتورهای جستجو می دهد.

نقشه های سایت می تواند از طریق وبمستربینگ به بینگ و از طریق سرچ کنسول به گوگل ارسال شود.

این روش خوبی است اما وقتی نیاز دارید صفحه ای فورا ایندکس شود قابل اعتماد نیست.

ایندکس کردن محتوا توسط سرچ کنسول

می توانید در سرچ کنسول در خواست ایندکس شدن بکنید. اگر صفحه مورد نظر در فهرست گوگل باشد، اطلاعاتی در مورد آن نشان داده می شود.

اگر صفحه در فهرست جستجوی گوگل نباشد، به صورت دستی، آدرس مورد نظر را وارد کنید تا در صف ایندکس شدن قرار بگیرد.

IndexNow در بینگ

بینگ یک پروتکل باز دارد که مبتنی بر روش فشاری برای هشدار به موتورهای جستجو برای محتوای جدید یا به روز است. این پروتکل IndexNow نام دارد.

خوبی IndexNow این است که منابع میزبانی وب را کمتر هدر می دهد.

این روش نه تنها سازگار با محیط زیست است، بلکه در منابع پهنای باند نیز صرفه جویی می کند.

با این حال بزرگترین مزیتش ایندکس شدن سریع تر محتواست. IndexNow در حال حاضر فقط توسط بینگ و یاندکس استفاده می شود.

بینگ وبمستر تولز(Bing Webmaster Tools)

یک اکانت بینگ وبمستر داشته باشید. برای ایندکس شدن محتوا این مراحل را طی کنید:

Configure My site —> Submit URLs

آدرس های مورد نظر را در کادر نوشته و Submit کنید.

هم چنین یک API Indexing برای بینگ وبمستر وجود دارد که می تواند زمان نمایش محتوا را در نتایج جستجوی بینگ عرض چند ثانیه افزایش دهد.

بودجه خزیدن (Crawl budget)

صحبت کردن در مورد ایندکس شدن محتوا همیشه با خزیدن همراه است.

بودجه خزیدن اصطلاحی است که برای توصیف میزان منابعی که گوگل برای خزیدن یک وب سایت صرف می کند استفاده می شود.

بودجه ای که گوگل اختصاص می دهد، براساس ترکیبی از عوامل است که دو عامل اصلی عبارت اند از:

• سرعت سرور شما چقدر است(یعنی گوگل چقدر می تواند بدون تضعیف تجربه کاربری شما بخزد)

• سایت شما چقدر مهم است

اگر شما یک سایت خبری بزرگ با محتوای به روزرسانی دایمی که کاربران موتورهای جستجو می خواهند از آن آگاه باشند راه اندازی کنید سایت شما به طور مکرر خزیده می شود(به جرات می توان گفت دایما).

گوگل دو نوع خزیدن دارد:

ایندکس شدن توسط گوگل با خزیدن شروع می شود که دو نوع دارد:

• Discorey: جایی که گوگل صفحات وب جدیدی را برای افزودن به فهرست پیدا می کند
• Refresh: که در آن گوگل تغییراتی را در صفحاتی که از قبل ایندکس شده اند پیدا می کند

اگر سایت تان را مرتب به روز کنید گوگل مرتبا سایت شما را می خزد اما اگر وقفه ای در به روزرسانی سایت تان به وجود بیاید حتما از ایندکس کردن دستی استفاده کنید تا گوگل به سایت شما سر بزند.

یادتان باشد حتی با ایندکس کردن دستی محتوا، ممکن است صفحه شما در فهرست جستجوی گوگل قرار نگیرد.