اصلاح گزارش “صفحات حذف شده” سرچ کنسول

بیاموزید چرا برخی از صفحات وب سایت شما در گزارش صفحات حذف شده Excuded در گوگل سرچ کنسول قرار می گیرند و چگونه آن را برطرف کنید.

اجازه ندهید محتوای شما مورد توجه قرار نگیرد. درباره صفحات حذف شده از گزارش سرچ کنسول گوگل اطلاعات کسب کنید و وضعیت خود را اصلاح کنید.

سرچ کنسول به شما امکان می دهد به وب سایت خود از چشم گوگل نگاه کنید. اطلاعاتی در مورد عملکرد وب سایت خود و جزییات مربوط به تجربه صفحه- مسایل امنیتی- خزیدن یا نمایه سازی دریافت می کنید.

گزارش ایندکس شدن(Index Coverage Report) چیست؟

Index Coverage Report اطلاعات دقیقی درباره وضعیت فهرست صفحات وب سایت شما نشان می دهد.

صفحات وب سایت شما می توانند به یکی از چهار سطل زیر بروند:

• Error(خطا): صفحاتی که گوگل نمی تواند ایندکس کند. شما باید این گزارش را مرور کنید زیرا گوگل فکر می کند ممکن است بخواهید این صفحات ایندکس شوند.
• Valid with Warning(معتبر با هشدار): صفحاتی که گوگل ایندکس می کند اما برخی از مشکلات وجود دارد که باید آن ها را برطرف کنید.
• Valid(معتبر): صفحاتی که گوگل ایندکس می کند.
• Excluded: صفحاتی که از فهرست حذف می شوند.

صفحات حذف شده چیست؟

گوگل صفحاتی را که در سطل های Error و Excluded هستند فهرست نمی کند.

تفاوت اصلی بین این دو:

گوگل فکر می کند صفحات خطا باید ایندکس شوند اما به دلیل خطایی که باید بررسی کنید نمی تواند. به عنوان مثال صفحات غیر قابل ایندکس شدن که از طریق نقشه سایت XML ارسال می شوند در قسمت Error قرار می گیرند.

گوگل فکر می کند صفحات موجود در سطل Excluded باید واقعا حذف شوند و این مقاله درباره آن است.

بعضی وقت ها صفحاتی که باید ایندکس شوند به Excluded می روند چون گوگل نمی تواند به درستی آن را دریافت کند.

خوشبختانه سرچ کنسول گوگل دلیل قرار گرفتن صفحات در یک سطل خاص را می گوید.

دلایل احتمالی برای صفحات حذف شده

14 دلیل احتمالی وجود دارد که ممکن است صفحات شما در سطل Excluded قرار بگیرد:

1. صفحه مورد نظر توسط برچسب noindex حذف شده است

این ها آدرس هایی هستند که دارای تگ noindex هستند. گوگل فکر می کند که شما واقعا می خواهید این صفحات را از فهرست بندی حذف کنید زیرا آن ها را در نقشه سایت XML لیست نمی کنید.

این ها ممکن است صفحات ورود- صفحات کاربر یا صفحات نتایج جستجو باشند.

اقدامات پیشنهادی:

• این URLها را بررسی کنید تا مطمئن شوید که می خواهید آن ها را از فهرست گوگل حذف کنید. بررسی کنید که ایا یک تگ noindex در آن URLها وجود دارد یا نه.

2. صفحات خزیده شده در حال حاضر نمایه نشده

گوگل این صفحات را خزیده و هنوز آن ها را ایندکس نکرده. URL موجود در این سطل ممکن است در آینده ایندکس شود یا نشود.

نیازی به ارسال مجدد این URL برای خزیدن نیست بسیاری از متخصصان سئو متوجه شدند که اگر بسیاری از صفحات عادی و قابل نمایه سازی در زیر Crawled قرار گیرند- در حال ایندکس نشده اند ممکن است یک سایت با مشکلات کیفی جدی مواجه شود.

این می تواند به این معنی باشد که گوگل این صفحات را خزیده و فکر نمی کند که ارزش کافی برای فهرست بندی ارائه می دهند.

اقدامات پیشنهادی:

• وب سایت خود را از نظر کیفیت E-A-T بررسی کنید.

3. صفحات کشف شده-نمایه نشده

گوگل صفحه را نمی خزد تا سرور بیش از حد بارگیری نشود.

تعداد زیادی از صفحات زیر این سطل ممکن است به این معنی باشد که سایت شما دارای مشکلات بودجه خزیدن است.

اقدامات پیشنهادی:

• سلامت سرور خود را بررسی کنید.

4. صفحه پیدا نشد یا همان خطای 404

اینها صفحاتی هستند که وقتی فراخوانی می شوند کد 404 را بر می گردانند.

این ها نشانی های اینترنتی ارسال شده به گوگل نیستند( نقشه سایت XML) اما در عوض گوگل این صفحات را کشف کرد(یعنی از طریق وب سایت دیگری که به یک صفحه قدیمی پیوند داده شده است که مدت ها پیش حذف شده است).

اقدامات پیشنهادی:

• این صفحات را مرور کنید و تصمیم بگیرید که آیا تغییر مسیر 301 را به یک صفحه کاری اجرا کنید یا خیر.

5. 404 نرم(soft 404)

404 نرم در بیشتر موارد یک صفحه خطایی است که کد وضعیت را OK(200) بر می گرداند. از طرف دیگر می تواند صفحه ای نازک باشد که حاوی محتوای کم یا بدون محتوا باشد و از کلماتی مثل متاسفم خطا یافت نشد و… استفاده کند.

اقدامات پیشنهادی:

• در صورت وجود خطا حتما کد وضعیت 404 را برگردانید.
• برای صفحات محتوای نازک محتوای منحصر بفرد اضافه کنید تا به گوگل کمک کنید این URLها را به عنوان صفحه مستقل تشخیص دهد.

6. صفحات ریدایرکت شده

همه صفحات ریدایرکت شده در وب سایت شما به سطل Excluded می روند. جایی که می توانید تمام صفحات هدایت شده را که گوگل در وب سایت شما شناسایی کرده است مشاهده کنید

اقدامات پیشنهادی:

• صفحات تغییر مسیر داده شده را بررسی کنید تا مطمئن شوید که تغییر مسیرها عمدا اجرا شده اند.
• برخی از افزونه های وردپرس به طور خودکار هنگام تغییر URL ریدایرکت ها را ایجاد می کند بنابراین ممکن است بخواهید هراز گاهی این موارد را مرور کنید.

7. محتوای تکراری بدون تگ کنونیکال

گوگل فکر می کند این URLهای تکراری از آدرس های دیگر در وب سایت شما هستند و بنابراین نباید ایندکس شوند. شما یک برچسب کنونیکال برای این نشانی های اینترنتی تنظیم نکرده اید و گوگل آن را براساس سیگنال های دیگر انتخاب کرده است.

اقدامات پیشنهادی:

• این URLها را بررسی کنید تا بدانید که گوگل چه URLهای کنونیکال را برای این صفحات انتخاب کرده است.

8. محتوای تکراری-گوگل URL متفاوتی از کاربر را ایندکس کرد

در بعضی موارد هم شما یک URL کنونیکال برای صفحه اعلام کردید اما با این وجود گوگل URL دیگری را به عنوان کنونیکال انتخاب کرد. در نتیجه کنونیکال انتخاب شده توسط گوگل ایندکس می شود و مورد انتخاب شده توسط کاربر ایندکس نمی شود.

اقدامات پیشنهادی:

• نشانی URL را بررسی کنید تا ببینید گوگل چه چیزی را کنونیکال انتخاب کرده است.
• سیگنال های احتمالی را که گوگل وادار به انتخاب یک کنونیکال متفاوت(پیوند خارجی) کرده است تجزیه و تحلیل کنید(این مقاله راجع به انتخاب کنونیکال اشتباه است).

9. محتوای تکراری-URLهای ارسالی به عنوان کنونیکال انتخاب نشده

تفاوت این حالت با قبلی این است که شما یک URL را برای ایندکس کردن به گوگل ارسال کرده اید بدون اینکه URL کنونیکال آن را اعلام کنید و گوگل فکر می کند که یک URL متفاوت کنونیکال بهتری ایجاد می کند.

در نتیجه کنونیکال منتخب گوگل به جای URL ارسالی ایندکس می شود.

اقدامات پیشنهادی:

• URL را بررسی کنید تا ببینید گوگل چه URLهایی را به عنوان کنونیکال انتخاب کرده است.

10. صفحه جایگزین با برچسب کنونیکال مناسب

این ها تکراری از صفحاتی هستند که گوگل آن ها را به عنوان URLهای کنونیکال می شناسد.

این صفحات دارای آدرس های متعارفی هستند که به URL کنونیکال صحیح اشاره می کنند.

اقدامات پیشنهادی:

• در بیشتر موارد هیچ اقدامی لازم نیست.

11. مسدود شده توسط Robots.txt

این ها صفحاتی هستند که robots.txt مسدود کرده است. هنگام تجزیه و تحلیل این سطل به خاطر داشته باشید که اگر گوگل به عنوان مثال در سایر وب سایت مرجعی به آنها پیدا کند هم چنان می تواند این صفحات را ایندکس کند و آن ها را به شکل مشکلات(impaired) نمایش دهد.

اقدامات پیشنهادی:

• بررسی کنید که آیا این صفحات با استفاده از آزمایش کننده robots.txt مسدود شده اند.
• یک تگ noindex اضافه کنید و اگر می خواهید صفحات را از ایندکس حذف کنید از robots.txt حذف کنید.

12. مسدود شده توسط ابزار حذف صفحه

این گزارش صفحاتی را فهرست می کند که حذف آنها توسط ابزار Removals در خواست شده است. به خاطر داشته باشید که این ابزار صفحات را فقط به طور موقت(90 روز) از نتایج جستجو حذف می کند و از فهرست حذف نمی کند.

اقدامات پیشنهادی:

• بررسی کنید که آیا صفحات ارسال شده از طریق ابزار Removals باید به طور موقت حذف شوند یا دارای برچسب noindex باشند.

13. مسدود شده به دلیل درخواست غیر مجاز(401)

در مورد این URLها گوگل بات به دلیل در خواست مجوز(کد وضعیت 401) قادر به دسترسی به صفحات نبود.

مگر اینکه این صفحات بدون مجوز در دسترس باشند نیازی به انجام کاری ندارید.

اقدامات پیشنهادی:

• بررسی کنید که آیا این صفحات واقعا به مجوز نیاز دارند یا خیر.

14. مسدود شده به دلیل دسترسی ممنوع(403)

این کد وضعیت معمولا نتیجه برخی از خطاهای سرور است.

خطای 403 زمانی برگردانده می شود که اعتبار نامه های ارائه شده صحیح نباشد و دسترسی به صفحه امکان پذیر نباشد.

در اسناد گوگل آمده است:

” گوگل بات هرگز اعتبار نامه ها را ارائه نمی کند. بنابراین سرور شما این خطا را اشتباه برمی گرداند. این خطا یا باید برطرف شود یا صفحه توسط robots.txt یا noindex مسدود شود”

چه چیزی می توانید از صفحات حذف شده بیاموزید؟

افزایش ناگهانی و بزرگ در یک سطل خاص از صفحات حذف شده ممکن است نشان دهنده مشکلات جدی سایت باشد.

در اینجا 3 نمونه از spike ها وجود دارد که ممکن است نشان دهنده مشکلات جدی در وب سایت شما باشند:

1. افزایش قابل توجهی در صفحات یافت نشد(404): ممکن است نشان دهنده مهاجرت ناموفق باشد که در ان URLها تغییر کرده اند، اما تغییر مسیر به آدرس های جدید اجرا نشده است. این ممکن است پس از آن نیز اتفاق بیفتد که مثلا یک فرد بی تجربه پست های وبلاگ را تغییر داده و در نتیجه URL همه وبلاگ را تغییر داده است.

2. یک جهش بزرگ در Discovered-در حال حاضر ایندکس نشده یا خزیده نشده-در حال حاضر ایندکس نشده است ممکن است نشان دهنده این باشد که سایت شما هک شده است. حتما صفحات نمونه را مرور کنید تا بررسی کنید که آیا این صفحات واقعا صفحات شما هستند یا در نتیجه هک ایجاد شده اند(یعنی صفحات با حروف چینی)

3. افزایش بزرگ در تگ noindex: ممکن است نشان دهنده راه اندازی و مهاجرت ناموفق باشد. این اغلب زمانی اتفاق می افتد که یک سایت جدید همراه با برچسب های noindex از مرحله بندی به تولید می رود.

در هر حال؛

چه یک سئوکار جدید باشید چه با تجربه، بررسی سرچ کنسول گوگل را به عادت روزانه خود تبدیل کنید. این می تواند به شما کمک کند تا مسایل فنی را قبل از تبدیل شدن به فاجعه شناسایی کنید.