14 نکته ضروری برای خزیدن در میلیون ها صفحه وب

با این 14 نکته مفید بیاموزید که چگونه میلیون ها صفحه را با موفقیت برای خزیدن سئو سایت سازمانی جستجو کنید.

خزیدن و سئو سایت های سازمانی دارای تمام پیچیدگی های خزیدن معمولی به علاوه چندین عامل اضافی است که باید قبل از شروع خزیدن در نظر گرفته شود.

رویکردهای زیر نشان می دهد که چگونه می توان یک خزیدن در مقیاس بزرگ انجام داد و به اهداف سئو دست یافت. چه بخشی از یک بررسی مداوم باشد یا یک ممیزی سایت.

1. سایت را آماده خزیدن کنید

برای سئوی وب سایت سازمانی نکته مهمی که قبل از شروع خزیدن باید در نظر بگیرید خود وب سایت است.

رفع مشکلاتی که ممکن است قبل از شروع خزیدن باعث کاهش سرعت خزیدن شود، مفید است.

ممکن است رفع مشکل قبل از خزیدن غیر منطقی به نظر برسد، اما وقتی صحبت از سایت های واقعا بزرگ می شود یک مشکل کوچک ضربدر پنج میلیون مساوی یک مشکل مهم می شود.

شناسایی مشکل سایت قبل از شروع خزیدن

آدام هامفریس راه حلی ارائه داده که از آن برای شناسایی عواملی که باعث کندی TTFB(زمان تا اولین بایت) می شود استفاده می کند.

بایت یک واحد داده است. بنابراین TTFB اندازه گیری مدت زمانی که طول می کشد تا یک بایت داده به مرورگر تحویل داده شود. TTFB مدت زمان بین دریافت درخواست یک فایل توسط سرور تا زمانی که اولین بایت به مرور گر تحویل داده می شود را اندازه گیری می کند. بنابراین اندازه گیری سرعت سرور را ارائه می دهد.

یک راه برای اندازه گیری TTFB این است که یک URL را در ابزار Page Speed Insights گوگل وارد کنید که فناوری اندازه گیری Lighthouse Google طراحی کرده است.

بسیاری از اوقات CVW یک TTFB کند را برای صفحاتی که در حال ممیزی هستند علامت گذاری می کند. TTFB دقیق را می توان با یک فایل متنی خام اندازه گرفت. فقط یک فایل متنی ساده بدون HTML که روی سرور به وب سایت واقعی بارگذاری می شود.

مقداری متن ساختگی روی یک فایل متنی بریزید و آن را آپلود کنید سپس TTFB را اندازه گیری کنید. ایده این است که زمان پاسخ سرور را در TTFB ببینید و سپس جداسازی کنید که چه منابعی در سایت باعث تاخیر می شود.

مشکلات خزیدن وب سایت های سازمانی چرا به وجود می آیند؟

بیشتر اوقات دلیلش افزونه های بیش از حدی است که مردم دوست دارند. هر دو Lighthouse را در حالت ناشناس و web.dev/measure به روزرسانی کنید تا میانگین اندازه گیری ها را انجام دهد. وقتی 30 تا 50 پلاگین یا جاوااسکریپت را در کد منبع وجود داشته باشد یک مشکل فوری است که قبل از شروع خزیدن باید بررسی شود.

به روزرسانی امتیازات Lighthouse یعنی این که چندین بار URL آزمایش می شود. هر آزمایش یک امتیاز کمی متفاوت به دست می دهد. چون مسیریابی داده ها از طریق اینترنت دائما در حال تغییر است.

بنابراین چندین امتیاز TTFB جمع آوری می شود و میانگین آن ها حساب می شود تا یک نمره نهایی به دست آید. سپس معلوم می شود یک وب سرور چقدر پاسخ گو است.

اگر سرور پاسخ گو نیست ابزار Page Speeed Insights می تواند ایده ای درباره اینکه چرا سرور پاسخ گو نیست و چه چیزی باید اصلاح شود را ارائه دهد.

2. اطمینان از دسترسی کامل به سرور:IP خزنده لیست سفید

فایروال ها و CDN ها می توانند یک IP را از خزیدن یک وب سایت مسدود یا کند کنند.

بنابراین مهم است که همه پلاگین های امنیتی، نرم افزارهای پیشگیری از نفوذ در سطح سرور و CDNهایی که ممکن است خزیدن سایت را مختل کنند شناسایی کنید.

3. در ساعات کم پیک خزیدن

خزیدن یک سایت در حالت ایده آل باید بدون مزاحمت باشد.

در بهترین سناریو سرور باید بتواند با خزیدن تهاجمی مقابله کند و در عین حال صفحات وب را به بازدیدکنندگان واقعی سایت نیز ارائه دهد.

اما از سوی دیگر آزمایش اینکه سرور در شرایط بارگذاری چقدر خوب پاسخ می دهد می تواند مفید باشد.

این جاست که تجزیه و تحلیل بلادرنگ یا دسترسی به گزارش سرور مفید خواهد بود زیرا می توانید فورا ببینید که چگونه خزیدن سرور ممکن است بر بازدید کنندگان سایت تاثیر بگذارد، اگر چه سرعت خزیدن و پاسخ های 503 سرور نیز سر نخی از تحت فشار بودن سرور است.

اگر واقعا اینطور است که سرور تلاش می کند تا به آن ادامه دهد آن پاسخ را یادداشت کنید و سایت را در ساعات غیر اوج مصرف بررسی کنید.

یک CDN در هر صورت باید اثرات یک خزیدن تهاجمی را ارائه دهد.

4. آیا خطاهای سرور وجود دارد؟

اگر سرور در ارائه صفحات به گوگل بات مشکل دارد گزارش آمار خزیدن کنسول جستجوی گوگل باید اولین مکان برای تحقیق باشد.

هر مشکلی در گزارش آمار خزیدن باید قبل از خزیدن یک وب سایت در سطح سازمانی، علت یابی و رفع شود.

گزارش های خطای یک سرور معدن طلا از داده هستند. می توانند طیف وسیعی از خطاها را نشان دهند که ممکن است بر میزان خوب خزیدن یک سایت تاثیر بگذارد.

از اهمیت ویژه ای برخوردار است که بتوان خطاهای PHP غیر قابل مشاهده را اشکال زدایی کرد.

5. حافظه سرور

چیزی که در سئو معمولا به آن توجه نمی شود اندازه RAM(حافظه تصادفی) سرور است.

RAM مانند حافظه کوتاه مدت است، جایی که سرور اطلاعاتی را که برای ارائه صفحات وب به بازدیدکنندگان سایت استفاده می کند، ذخیره می کند.

سرور با رم ناکافی کند می شود. بنابراین اگر یک سرور در حین خزیدن کند می شود یا به نظر می رسد که نمی تواند با خزیدن کنار بیاید این می تواند یک مشکل سئو برای وب سایت سازمانی شما باشد که بر میزان توانایی گوگل در خزیدن و فهرست بندی صفحات وب تاثیر می گذارد. نگاهی به رم سرور بیندازید.

اگر سرور مقدار رم کافی داشته باشد اما سرعت سرور کند شود ممکن است مشکل چیز دیگری باشد مانند نرم افزار یا یک افزونه، که ناکارامد است و باعث نیاز به حافظه بیش از حد می شود.

6. به طور دوره ای داده های خزیدن را بررسی کنید

هنگام خزیدن وب سایت مراقب ناهنجاری های خزیدن باشید. گاهی اوقات خزنده ممکن است گزارش دهد که سرور قادر به پاسخ گویی به درخواست یک صفحه وب نیست و چیزی شبیه پیام پاسخ سرور 503 ناموجه است.

بنابراین مفید است که خزیدن را متوقف کنید و ببینید چه اتفاقی در حال وقوع است که ممکن است نیاز به نعمیر داشته باشد تا به خزیدنی که اطلاعات مفیدتری ارائه می دهد ادامه دهید.

گاهی اوقات نرسیدن به پایان خزیدن، هدف است.

خزیدن به خودی خود یک نقطه داده مهم است. بنابراین احساس ناامیدی نکنید که خزیدن برای رفع مشکل باید متوقف شود زیرا کشف چیز خوبی است.

7. خزنده خود را پیکر بندی کنید

خزنده ای مثل Screaming Frog برای اکثر کاربران عالی است اما برای اینکه بتوانید در یک وب سایت بزرگ با میلیون ها صفحه بخزد باید تنظیمات ذخیره سازی آن دوباره تنظیم شود.

مسیر منو برای تنظیمات ذخیره سازی:

Configuratition> System> Storage> Database Storage

در صورت امکان استفاده از هارد دیسک داخلی SSD(درایو حالت جامد) توصیه می شود. استفاده از رایانه ای با SSD به دستیابی به خزیدن سریع شگفت انگیزی کمک می کند که برای دانلود موثر میلیون ها صفحه وب ضروری است.

آدام هامفریس ادامه داد:

“خزیدن سایت به طور باورنکردنی نیازمند منابع است و به حافظه زیادی نیاز دارد. دسکتاپ اختصاصی یا اجاره سرور روشی بسیار سریع تر از لپ تاپ است”

8. اتصال به اینترنت سریع

اگر از دفتر خود در حال خزیدن وب سایت سازمانی تان هستید استفاده از سریع ترین اتصال اینترنتی ممکن بسیار مهم است. استفاده از سریع ترین اینترنت موجود می تواند به معنای تفاوت بین خزیدن که ساعت ها طول می کشد تا خزیدن چند روز طول بکشد.

به طور کلی سریع ترین اینترنت موجود از طریق اتصال اترنت است نه وای فای.

اگر دسترسی به اینترنت شما از طریق وای فای است می توانید با نزدیکتر کردن لپ تاپ یا دسکتاپ به روتر وای فای که دارای اتصالات اترنت در عقب است، اتصال اترنت برقرار کنید.

9. خزیدن ابری

هنگام خزیدن از یک سرور ابری تمام محدودیت های عادی که خزیدن دسکتاپ دارد دیگر وجود ندارد.

Ash Nallawalla خزیدن از فضای ابری را برای سایت هایی با بیش از 5 میلیون صفحه توصیه می کند.

10. خزیدن های جزیی

یک تکنیک برای خزیدن وب سایت های سازمانی این است که سایت را به چند قسمت تقسیم کنید. هر قسمت را بر اساس ترتیب خزیدن به طوری که نتیجه یک نمای مقطعی از وب سایت باشد.

روش دیگر برای انجام خزیدن جزیی این است که سایت را به قطعات تقسیم کنید. به طور مداوم وب سایت را بخزید. با این روش هر بخش هم به روز نگه داشته می شود و هر تغییری که در سایت ایجاد شده است فورا مشاهده می شود. بنابراین به جای انجام یک خزیدن به روزرسانی چرخشی در کل سایت، یک خزیدن جزیی کل سایت را براساس زمان انجام دهید.

11. خزیدن محدود Snapshot

یک راه برای دریافت نمای سطح بالا از ظاهر یک وب سایت این است که خزیدن را فقط به نمونه ای از سایت محدود کنید. این برای خزیدن هوش رقابتی نیز مفید است.

مثلا می توانید 50000 صفحه از وب سایت رقیب را جستجو کنید تا ببینید به چه نوع سایت هایی لینک می دهند.

می توانید از این داده ها استفاده کنید تا اگر پیوندهای خروجی مشتری شما ضعیف است سایت های باکیفیت را نشان شان بدهید. بنابراین گاهی اوقات یک خزیدن محدود می تواند به اندازه کافی نوع خاصی از داده ها را به دست آورد تا یک دیدگاه کلی از سلامت سایت به دست آورید.

12. خزیدن ساختار سایت

گاهی اوقات تنها نیاز به درک ساختار سایت دارید. برای انجام سریع تر این کار می توان خزنده ها را طوری تنظیم کرد که پیوندهای خارجی و تصاویر داخلی را نخزد.

تنظیمات دیگری نیز وجود دارد که می توان آن ها را حذف کرد تا خزیدن سریع تر انجام شود بنابراین تنها چیزی که خزنده روی آن تمرکز می کند دانلود URL و ساختار پیوند است.

13. نحوه مدیریت صفحات تکراری و کنونیکال

مگر اینکه دلیلی برای نمایه سازی صفحات تکراری وجود داشته باشد، تنظیم خزنده برای نادیده گرفتن پارامترهای URL و سایر URLهای تکراری از یک URL کنونیکال هستند که می تواند مفید باشد.

این امکان وجود دارد که یک خزنده را فقط برای خزیدن صفحات کنونیکال تنظیم کنید اما اگر سایتی طوری تنظیم شود که صفحه کنونیکال صفحه اول را برگرداند هرگز این خطا را کشف نخواهید کرد.

14. ببینید گوگل چه می بیند

بودجه خزیدن به میزان منابعی است که گوگل برای خزیدن یک وب سایت برای ایندکس کردن اختصاصی می دهد. هر چه صفحات بیشتری با موفقیت ایندکس شوند صفحات بیشتری فرصت رتبه بندی خواهند داشت.

سایت های کوچک نباید نگران بودجه خزیدن باشند. اما به حداکثر رساندن بودجه خزیدن گوگل یک اولویت سئو برای وب سایت های سازمانی است. بنابراین اگر سایتی طوری تنظیم شده است که عناصر خاصی را به گوگل بات نشان ندهد می توانید نقشه سایت را همان طور که گوگل می بیند ببینید.

این یک راه عالی برای تشخیص مشکلات احتمالی مانند کشف صفحاتی است که باید خزیده شوند اما در حال از دست دادن هستند. برای سایر سایت ها گوگل ممکن است راه خود را به صفحاتی پیدا کند که برای کاربران مفید هستند اما ممکن است از نظر گوگل به عنوان صفحاتی با فرم های ثبت نام کیفیت پایینی داشته باشند.

می توان وب سایت های سازمانی را جستجو کرد و نحوه خزیدن در آن ها و سئو را به سختی یاد گرفت. امیدواریم این 14 نکته سختی این یادگیری را برای تان آسان کند و شما را برای پذیرش مشتریان در سطح سازمانی با وب سایت های غول پیکر آماده کند.