چگونه صفحات یتیم را در وب سایت خود پیدا کنید

آیا صفحاتی با رتبه بندی و پتانسیل ترافیک جستجوی ارگانیک دارید اما از ساختار سایت خود غایب هستید؟ یا صفحاتی که عمداً در ساختار سایت شما نیستند اما گوگل به هر حال آنها را پیدا می کند؟ پاسخ احتمالاً بله است. حداقل، برای اکثر وب سایت ها است! اینها صفحات یتیم هستند، و پیوستن صفحات یتیم به ساختار وب سایت این امکان را می دهد که پتانسیل آنها به رتبه بندی و درامد تبدیل شود.

پیدا کردن صفحات وبی که هیچ لینکی ندارند دشوار است، اما غیرممکن نیست. اگر صفحاتی در وب سایت شما وجود دارد که کاربران و موتورهای جستجو نمی توانند به آنها دسترسی پیدا کنند، این مشکلی است که باید برطرف کنید.

صفحه یتیم چیست؟

صفحات یتیم صفحات وب سایتی هستند که از هیچ صفحه یا بخش دیگری از سایت شما به آنها لینک نشده است. این بدان معناست که کاربر بدون اطلاع از URL مستقیم نمی تواند به صفحه دسترسی پیدا کند. علاوه بر این، این صفحات را نمی توان از صفحه دیگری توسط خزنده های موتورهای جستجو دنبال کرد، به این معنی که به ندرت توسط موتورهای جستجو ایندکس می شوند.

صفحه ای که هیچ لینکی به آن نباشد، صفحه یتیم نامیده می شود. موتورهای جستجو، مانند گوگل، معمولا صفحات جدید را به یکی از دو روش پیدا می کنند:

• خزنده پیوندی را از صفحه دیگری دنبال می کند.
• خزنده URL فهرست شده در نقشه سایت XML شما را پیدا می کند.

بنابراین اگر می خواهید گوگل صفحه شما را بخزد و ایندکس کند، باید بتواند آن را پیدا کند.

چگونه صفحات یتیم را پیدا کنیم

باید هم از خزنده سایت و هم از تحلیلگر فایل لاگ استفاده کنید. اگر یک خزنده سایت به شما کمک می کند صفحاتی را در ساختار سایت خود پیدا کنید، ابزار تجزیه و تحلیل فایل لاگ می تواند به شما کمک کند صفحات یتیمی را پیدا کنید که در ساختار سایت شما نیستند. شما می خواهید که تمام صفحات یتیم را در وب سایت خود پیدا کنید. ما در مورد صفحاتی در ساختار سایت شما صحبت می کنیم که گوگل از وجود آنها بی اطلاع است.

برای پیدا کردن آنها باید به خزیدن کامل وب سایت و فایل های گزارش سرور خود دسترسی داشته باشید.

چرا صفحات یتیم یک مشکل سئو هستند؟

صفحات یتیم دو مشکل اصلی سئو ایجاد می کنند:

• رتبه بندی و ترافیک کم حتی اگر حاوی محتوای عالی باشند، صفحات یتیم معمولاً رتبه خوبی در SERP ها ندارند یا ترافیک جستجوی ارگانیک زیادی دریافت می کنند.
• ضایعات خزیدن: صفحات یتیم کم ارزش (مثلاً صفحات تکراری) می توانند بودجه خزیدن را از صفحات مهم شما بدزدند. هنگامی که صفحات یتیم بخش قابل توجهی از صفحاتی را که گوگل در وب سایت شما کاوش می کند، تشکیل می دهند، متوجه می شوید که مشکل چقدر بزرگ است.

موتورهای جستجو نمی توانند صفحات یتیم را از طریق پیوندها پیدا کنند. بنابراین صفحات یتیم اغلب ایندکس نشده می مانند و هرگز در نتایج جستجو نشان داده نمی شوند.

حتی اگر صفحات یتیم شما در نقشه سایت XML شما فهرست شده باشند، باز هم برای سئو مشکل دارند.

آیا صفحات یتیم بد هستند؟

صفحات یتیم نه برای کاربران و نه برای خزنده ها عالی نیستند. کاربران نمی توانند از طریق ساختار طبیعی سایت شما به آن صفحات دسترسی پیدا کنند، بنابراین اگر اطلاعات مهم یا مفیدی در آن صفحات وجود داشته باشد، هدر می رود. این می تواند یک تجربه کاربر خسته کننده ایجاد کند.

بدون پیوند داخلی، هیچ مرجعی به صفحات منتقل نمی شود و موتورهای جستجو هیچ زمینه معنایی یا ساختاری برای ارزیابی صفحه ندارند.

بدون هیچ راهی برای دانستن اینکه صفحه کجا به طور کلی در سایت شما قرار می گیرد، تعیین اینکه صفحه مربوط به کدام پرس و جو است، می تواند دشوارتر باشد.

صفحات یتیم مورد انتظار: معمولاً جای نگرانی نیست

هنگامی که خزیدن سایت را اجرا می کنید و آن را با فایل های گزارش سرور خود مقایسه می کنید تا صفحاتی را که گوگل پیدا می کند اما در ساختار سایت شما نیستند، بیابید، می توانید روی “یافت شده توسط گوگل” کلیک کنید تا لیستی از تمام صفحات یتیم خود را دریافت کنید.

بسیاری از این صفحات یتیم از موارد زیر می آیند:

1. صفحاتی که در حال حاضر در سایت شما وجود ندارند، اما سایت دیگری به آنها لینک داده است. دریافت یک پیوند خارجی به صفحه ای که سپس حذف یا تغییر مسیر می دهید، معمول است. از آنجا که پیوند قدیمی هنوز در آن وب سایت دیگر وجود دارد، گوگل همچنان آن را پیدا خواهد کرد.

راه حل: از آنجایی که شما لینک‌ها را در سایر وب‌سایت‌ها کنترل نمی‌کنید، تنها راه برای رفع این نوع صفحه یتیم این است که با مالک سایت تماس بگیرید و از او بخواهید که به مکان جدید صحیح صفحه به‌روزرسانی شود.

2. صفحاتی که کدهای وضعیت غیر 200 را برمی گردانند. ممکن است گوگل همچنان صفحاتی را که مواردی مانند کدهای وضعیت 4xx را بازمی‌گردانند حتی پس از تصحیح در سایت شما انتخاب کند.

راه حل: گوگل در نهایت خزیدن این موارد را متوقف خواهد کرد.

3. صفحات منقضی شده. این امر در وب‌سایت‌هایی با تعداد زیادی صفحات با طول عمر کوتاه معمول است، به عنوان مثال، طبقه‌بندی‌هایی که خیلی سریع منقضی می‌شوند.

راه حل: فقط در صورتی باید نگران صفحات منقضی شده ای باشیم که گوگل برای مدت طولانی یتیم بمانند. در غیر این صورت، تعداد صفحات یتیم به سادگی به نرخ چرخش صفحات وب سایت اشاره می کند و باید به عنوان منبعی برای فکر در نظر گرفته شود.

صفحات یتیم غیرمنتظره: دلیل بالقوه برای نگرانی

1. صفحات منقضی شده همچنان محتوا را بر می گرداند

برخی از وب‌ سایت‌ها پیوند دادن به محتوای منقضی شده را متوقف می‌کنند و کد وضعیت (مانند HTTP 404 یا 410) را برای نشان دادن اینکه محتوا دیگر وجود ندارد، برمی‌گردانند. در نتیجه، صفحه قدیمی هنوز در دسترس است.

نحوه رفع مشکل: علاوه بر حذف پیوندهای محتوای منقضی شده، باید مطمئن شوید که صفحه منقضی شده را با کد وضعیت مناسب به روز کنید. اگر محتوا دیگر در دسترس نیست، حتما آن را 404 یا 410 کنید.

2. صفحاتی که از ریدایرکت سایت قبلی حذف شده اند

اینها صفحاتی هستند که هدایت نشده اند و بنابراین ممکن است محتوای قدیمی همچنان در دسترس باشد.

راه حل: اگر محتوای مشابهی در وب سایت جدید شما وجود دارد، باید این URL های قدیمی را به آنها هدایت کنید. اگر وجود ندارد، این صفحات باید کد وضعیت 404 یا 410 را برگردانند.

3. یک خطای نحوی هنگام تولید نقشه سایت

این نشانی‌های اینترنتی اشتباهی ایجاد می‌کنند که همچنان می‌توانند محتوا را برگردانند و موارد تکراری ایجاد کنند یا خطاهای HTTP را برگردانند.

راه حل: اگر URL های اشتباه ایجاد شده توسط یک خطای نحوی را مشاهده کردید، با تیم توسعه دهنده خود در راه حل همکاری کنید.

4. یک خطای نحوی در هنگام تولید تگ‌های متعارف

اینها URLهای اشتباهی ایجاد می‌کنند. این URL ها می توانند 200 کد وضعیت یا کد خطا را ارائه دهند.

راه حل: اگر URL های اشتباه ایجاد شده توسط یک خطای نحوی را مشاهده کردید، با تیم توسعه دهنده خود در راه حل همکاری کنید.

5. صفحات مهم و باکیفیت که در ساختار وب سایت شما لینک نشده اند

برخی از وب سایت ها از صفحات ناوبری(فهرست های محتوا، مانند صفحات دسته بندی یا صفحات نتایج جستجوی داخلی) استفاده می کنند که تنها زمانی پیوند داده می شوند که یک یا چند معیار برآورده شوند. به عنوان مثال، زیرمجموعه ها تنها زمانی در منو ظاهر می شوند که لیست خالی نباشد یا به حداقل تعداد آیتم ها برسد.

چه خطای اتوماسیون باشد یا نباشد، موارد زیادی وجود دارد که ممکن است از پیوند دادن به صفحات با ارزش غفلت کنیم.

راه حل: روش صحیح این است که تعیین کنیم چه زمانی یک صفحه با توجه به معیارهای تجاری هدفی برای ترافیک ارگانیک نیست، و زمانی که انجام شد، آن را یک بار برای همیشه حذف کنید، پیوندها را حذف کنید و HTTP 404 یا 410 را برگردانید. تا آن زمان، همیشه باید به جایی در وب سایت لینک شود.

صفحات یتیم محتوای منقضی شده

هنگامی که صفحات منقضی می شوند، می تواند صفحات یتیم ایجاد کند. گاهی اوقات، این طبیعی و قابل انتظار است. در موارد دیگر، غیر طبیعی است و اقدام برای رفع آن ضروری است. تفاوت بین صفحات یتیم مورد انتظار و غیرمنتظره برای محتوای منقضی شده در کد وضعیت HTTP است. در هر دو مورد، در زمانی که گوگل صفحات را خزیده بود، صفحات به وب‌ سایت لینک شدند و زمانی که خزنده Botify وب‌ سایت را کاوش کرد، دیگر لینکی نداشتند. بعد هنگامی که محتوا منقضی شد، صفحه یتیم معمولی می گوید که از بین رفته است (HTTP 404 یا 410 را برمی گرداند)، در حالی که صفحه غیرعادی هنوز وجود دارد(HTTP 200 را برمی گرداند).

نحوه تشخیص تفاوت در LogAnalyzer:

• صفحات یتیم معمولی: تعداد صفحات HTTP 404 به طور پیوسته افزایش می یابد و تعداد HTTP 200 نسبتاً پایدار خواهد بود.
• صفحات یتیم غیرعادی: تعداد HTTP 200 به مرور زمان در حال افزایش است.

چگونه بفهمیم که به چه نوع صفحه یتیمی نگاه می کنیم تا بتوانیم بدانیم چه اقدامی باید انجام دهیم؟ با داده‌های خزیدن سایت خود، می‌توانیم تفاوت بین نحوه خزیدن گوگل صفحات یتیم در مقابل صفحات در ساختار سایت را نیز درک کنیم.

صفحات یتیم در مقابل صفحات بن بست

اجازه دهید لحظه ای به طور خلاصه تفاوت بین دو اصطلاح سئو را که می تواند باعث سردرگمی شود، روشن کنیم.

صفحه یتیم صفحه‌ای است که توسط هیچ صفحه دیگری در همان وب‌ سایت پیوند داده نشده یا از آن قابل دسترسی نیست.

یک صفحه بن بست، صفحه ای است که به هیچ صفحه وب داخلی یا وب سایت خارجی دیگری پیوند نمی دهد، بنابراین یک «بن بست» ایجاد می کند. هنگامی که افراد در این صفحه قرار می گیرند، می توانند پاسخ دهند یا فقط سایت را رها کنند. هنگامی که خزنده‌های موتورهای جستجو در صفحه قرار می‌گیرند، جایی برای رفتن ندارند و هیچ ارزش پیوندی نمی‌تواند منتقل شود.

بن بست را می توان به راحتی با افزودن پیوندهایی به محتوای درون صفحه خود برطرف کرد، یا اطمینان حاصل کرد که ناوبری نوار کناری یا پاورقی در هر صفحه وجود دارد.

حالا برویم سراغ روبرو شدن با صفحات یتیم در وب سایت:

1. صفحات قابل خزیدن خود را شناسایی کنید

شما به فهرستی از همه URL هایی نیاز دارید که در حال حاضر با خزیدن لینک های سایت خود می توانید به آنها دسترسی پیدا کنید. برای انجام این کار به خزنده خود نیاز دارید. ScreamingFrog انتخاب خوبی است.

از هر خزنده‌ای که استفاده می‌کنید، مطمئن شوید که فقط صفحاتی را که قابل فهرست‌بندی توسط موتورهای جستجو هستند تنظیم کرده باشد. صفحات no-index که از دید خزنده های گوگل پنهان شده اند نباید در این فهرست باشند.

خزیدن را از صفحه اصلی سایت شروع کنید. مطمئن شوید که از URL متعارف، از جمله https یا http مناسب، و www یا non-www استفاده می‌کنید. پس از خزیدن سایت خود، URL ها را به صفحه گسترده ای مانند زیر منتقل کنید:

2. علت رایج صفحات یتیم را حل کنید

دو دلیل رایج برای یتیم شدن صفحات وجود دارد که باید فورا مورد توجه قرار گیرد و با آنها برخورد شود.

هر دوی این دلایل اساساً صفحات تکراری هستند که باید به طور خودکار فقط به یک URL هدایت شوند. اگر این کار را نکنند، این احتمال وجود دارد که برخی از نسخه‌های صفحه به آن پیوند داده نشده و در نتیجه یتیم باشند. در این مورد، این واقعیت که آنها یتیم هستند موضوع اصلی نیست، تکراری بودن آنها است.

اینها ممکن است بعداً زمانی که به دنبال صفحات یتیم هستید ظاهر شوند و باید با آنها برخورد شود، بنابراین ایده خوبی است که آنها را از سر راه خود بردارید.

https/http یا www/non-www غیر متعارف

هر صفحه عمومی در سایت شما باید به طور ایده آل از http یا https (ترجیحاً https) و www یا غیرwww به طور مداوم استفاده کند. برای بررسی اینکه آیا این مورد است، سعی کنید تمام این تغییرات صفحه اصلی سایت خود را در مرورگر خود تایپ کنید:

• https://www.example.com
• http://www.example.com
• https://example.com
• http://example.com

هر چهار تغییر باید به طور خودکار به همان URL هدایت شوند. برای ثبات، آن صفحه باید برای خودش متعارف باشد. اگر یکی از این تغییرات به درستی تغییر مسیر ندهد، می تواند نشانه ای از مشکلات مشابه در سایت، به طور گسترده تر باشد. سایر URL ها را با استفاده از آن تنوع بررسی کنید تا ببینید آیا این یک مشکل باز هم وجود دارد یا خیر. شما باید چند صفحه دیگر از سایت خود را آزمایش کنید و فایل htaccess. سایت تان را بررسی کنید تا مطمئن شوید که تغییر مسیرها برای آنها درست تنظیم شده اند.

بررسی کنید که هر صفحه در سایت شما دارای قابلیت SSL باشد، در غیر این صورت کاربران شما یک هشدار ترسناک مرورگر دریافت خواهند کرد. بررسی کنید که با این کار هیچ خطای سرور ایجاد نشود.

اسلش های دنباله دار

نکته دیگری که باید مراقب آن بود استفاده مداوم از اسلش های انتهایی است. به عنوان مثال، این دو URL ممکن است محتوای یکسانی تولید کنند، اما URL ها یکسان نیستند:

https://example.com/page1/

https://example.com/page1

چند صفحه در سایت خود را با و بدون اسلش آخر بررسی کنید و مطمئن شوید که به طور خودکار به همان URL هدایت می شوند و این کار را به طور مداوم انجام می دهند.

بررسی کنید که این در htaccess به درستی تنظیم شده باشد.

3. فهرستی از URL ها را از گوگل آنالیتیکس دریافت کنید

خزنده ها برای یافتن صفحات یتیم مشکل خواهند داشت. بنابراین استفاده از هر ابزار سئو برای یافتن یکی از آنها مشکل ساز خواهد بود. یکی از بهترین مکان‌ها برای شروع جستجوی صفحات یتیم، داده‌های گوگل آنالیتیکس است. تا زمانی که صفحات مورد نظر گوگل آنالیتیکس را نصب کرده باشند، اگر صفحه مورد نظر بازدید شده باشد، سابقه آن در جایی در گوگل آنالیتیکس وجود دارد.

احتمالاً کمی زمان می برد تا آنالیتیکس تمام داده ها را واکشی کند. صبور باشید و عجله نکنید، در غیر این صورت ممکن است مرورگر خود را خراب کنید. هنگامی که URLها بارگیری شدند، صادرات را انتخاب کنید و یک صفحه گسترده Google Sheet، فایل اکسل یا CSV را صادر کنید تا URL های خود را دریافت کنید. اگر کمی فنی تر هستید، می توانید از Google Analytics API برای سرعت بخشیدن به این فرآیند استفاده کنید. سعی کنید از معیار بازدید از صفحه در برابر بعد pagePath استفاده کنید.

اکنون URL ها را از فایل تحلیلی صادر شده در صفحه گسترده کپی کنید، مانند:

ما باید اینها را در قالب URL وارد کنیم تا مفید باشند.

از فرمول concat() برای ترکیب اینها با هم در یک URL در ستون بعدی استفاده کنید:

سپس فرمول را به پایین بکشید تا لیست کامل URL ها را دریافت کنید:

4. URL های یتیم خود را شناسایی کنید

برای شناسایی URL های یتیم، باید لیست URL های قابل خزیدن و لیست URL های یافت شده آنالیتیکس را در صفحه گسترده مقایسه کنیم.

در مثال فرضی ما، بدیهی است که https://example.com/11 یک صفحه یتیم است، اما در واقع شما تقریبا همیشه URL های بسیار بیشتری برای غربال کردن خواهید داشت و ما باید فرآیند شناسایی URL های یتیم خود را خودکار کنیم. برای انجام این کار، ما به فرمولی نیاز داریم که بررسی کند آیا هر URL در لیست Analytics ما در لیست URL های قابل خزیدن ما نیز یافت می شود یا خیر. در اینجا یک مثال از فرمولی است که این کار را انجام می دهد:

فرمول “تطابق” ما در سلول E2 در اینجا استفاده کرده ایم:

=match(D2,$A$2:$A$11,0)

این فرمول بررسی می‌کند که آیا URL در سلول D2 در محدوده $A$2:$A$11 است یا خیر(علامت دلار باعث می شود وقتی فرمول را به پایین ستون می کشیم، محدوده تغییر نکند).

مقدار “0” به Google Sheets می گوید که ستون ها لزوما مرتب نشده اند.

اگر تطابق وجود داشته باشد، فرمول موقعیت خود را در محدوده برمی‌گرداند که در این حالت اولین موقعیت در محدوده است. با این حال، آنچه ما بیشتر به آن علاقه مندیم این است که تطابقی وجود نداشته باشد.

همانطور که می بینید، فرمول خطای “#N/A” را برای https://example.com/11 برمی گرداند، زیرا در لیست URL های قابل خزیدن ما یافت نمی شود. این به این معنی است که یک صفحه یتیم است.

پس برای دریافت لیستی از صفحات یتیم خود، تنها کاری که باید انجام دهیم این است که ستون Match خود را مرتب کنیم تا همه نتایج “#N/A” را در یک مکان جمع آوری کنیم.

سپس می‌توانیم فهرست URL‌های یتیم خود را کپی کرده و آنها را در یک صفحه جدید جای‌گذاری کنیم، جایی که می‌توانیم به نحوه رفع آنها بپردازیم.

5. مکان های دیگر برای جستجوی URL های یتیم

می توانید این فرآیند را برای شناسایی URL های یتیم با استفاده از منابع داده ای غیر از گوگل آنالیتیکس تکرار کنید. هر یک از ابزارهای زیر فهرستی از صفحات خزیده شده از سایت شما را خواهد داشت:

• SEMrush
• Ahrefs
• Moz Link Explorer
• Raven Tools

ثبت نام در هیچ یک از آنها را به طور انحصاری برای جستجوی صفحات یتیم توصیه نمی شود، زیرا آنها باید به نحوی در این صفحات بخزند تا آنها را پیدا کنند. SEMrush و Ahrefs ابزارها و شیوه های خاصی برای کمک به شما در کشف صفحات یتیم دارند. شاید این ابزارها صفحاتی را پیدا کنند که مستقیماً قابل خزیدن نیستند چون با ابزارهای دیگر کشف شده اند.

با تیم توسعه دهنده خود کار کنید تا ببینید آیا آنها می توانند لیست کامل URL های سایت را مستقیماً از سرور دریافت کنند، زیرا این باید کامل ترین لیست موجود در هر کجا باشد.

همچنین می‌توانید فایل‌های گزارش خود را برای پیدا کردن این داده‌ها جستجو کنید.

فایل های گزارش حاوی اطلاعاتی در مورد:

• چه کسی از وب سایت شما بازدید کرده است.
• از کجا آمده اند.
• چه صفحاتی را بازدید کردند.

شما می توانید یک خزیدن دوم از سایت خود را انجام دهید و دستورالعمل هایی مانند “nofollow” و “noindex” را نادیده بگیرید و آن را با خزیدن اصلی خود مقایسه کنید. ممکن است صفحاتی وجود داشته باشند که فقط توسط خزنده‌هایی قابل دسترسی باشند که این دستورالعمل‌ها را نادیده می‌گیرند، و اینها می‌توانند منبع دیگری از صفحات یتیم باشند. در نهایت، می توانید لیستی از URL ها را از گزارش تجزیه و تحلیل جستجوی گوگل سرچ کنسول دریافت کنید.

حتی اگر این صفحات در اینجا نمایان شوند، به وضوح نمایه می شوند، ممکن است همچنان صفحاتی را بیابید که از پیوندهای داخلی شما قابل خزیدن نیستند و باید اصلاح شوند.

پیدا کردن و اصلاح صفحات یتیم

اگر صفحات یتیم در نقشه سایت شما نباشند، نمی‌توانند توسط موتورهای جستجو ایندکس شوند. حتی در صورت مشاهده، می‌توانند مشکلات سئو دیگری ایجاد کنند.

وقتی این مراحل را طی کردید و صفحات یتیم خود را پیدا کردید، چند سوال از خود بپرسید:

• آیا این صفحه مهم است؟ اگر هست، پیدا کنید کجا آن را ادغام کنید. اگر نه، آن را حذف کنید.
• آیا این صفحه با وجود اینکه یک صفحه یتیم است، برای کلمات کلیدی رتبه بندی می شود؟ اگر هست، پیدا کنید کجا آن را ادغام کنید. اگر نه، آن را حذف کنید.
• صفحه باید در کجای طبقه بندی وب سایت شما وجود داشته باشد؟
• آیا این صفحه تکراری است یا تقریباً تکراری؟ در نظر بگیرید که آن محتوا را در یک صفحه مشابه که یتیم نیست تا کنید.
• آیا این صفحه بهینه شده است؟ آیا می توان آن را بهینه سازی کرد و بهتر از آن پیوند داد؟
• آیا این صفحه از منابع خارجی به آن لینک شده است؟

امیدواریم این مقاله کمک تان کند تا از فرصت صفحات یتیم برای بهبود وب سایت تان استفاده کنید.

مقالات پیشنهادی:

سئو چگونه به موفقیت کسب و کارها کمک می کند؟

استراتژی هایی اساسی برای بهینه سازی و سئو وب سایت

با این روش ها خودتان را برای آینده سئو و تغییرات آن آماده کنید