ممکن است برای شما هم پیش آمده باشد که بصورت اتفاقی و با انجام تنظیمات نادرست دسترسی روبات گوگل به صفحات سایت را محدود کرده باشید. همچنین بسیار پیش آمده که بدلیل ایجاد مشکلاتی در سرور و یا اختلالات در تنظیمات DNS دامنه با پیامی مبنی بر عدم دسترسی روبات گوگل به سایت در پنل مدیریت وبمستر تولز خود مواجه شوید. این قبیل اتفاقات بطور حتم بر ایندکس صفحات سایت و رتبه شما در نتایج گوگل تاثیرگذار خواهد بود. ولی آیا با رفع مشکلات و برگشتن به حالت قبلی گوگل همچنان دید بدی نسبت به سایت شما خواهد داشت؟
جان مولر بعنوان یکی از کارمندان شناخته شده گوگل میگوید:

نگران نباشید، این قبیل اتفاقات ممکن است در مدت کوتاهی بر سئو سایت شما تاثیر گذار باشد ولی در دراز مدت به جایگاه قبلی خود باز خواهید گشت. زمانیکه دسترسی روبات های گوگل به صفحات سایت شما ممکن شده و به بازخوانی مجدد و ایندکس آنها بپردازند دوباره جایگاه خود را در نتایج گوگل کسب خواهید کرد. ولی این امر نیازمند گذشت زمان خواهد بود. البته توجه داشته باشید که برگشت به جایگاه قبلی در صورتی رخ خواهد داد که تغییری اساسی در الگوریتم های گوگل در این زمان ایجاد نشده باشد.

تاثیر دسترسی روبات بر سئو

از صحبت های مولر میتوان نتیجه گرفت که قطع شدن ناگهانی و چند روزه سرور شما به معنی هدر رفتن تمامی زحمات نخواهد بود و یا اگر سایت شما در ابتدا به هردلیل دسترسی روبات گوگل به صفحات را محدود کرده باشد با رفع این محدودیت مطالب قدیمی تر هنوز شانس حضور در نتایج گوگل و ایندکس شدن را خواهند داشت.
با مراجعه به بخش Crawl Errors در وبمستر تولز خود میتوانید صفحاتی که روبات گوگل امکان دسترسی به آنها را ندارد شناسایی کرده و مشکلات احتمالی را رفع کنید. پس از طی این مرحله با استفاده از بخش fetch as google از دسترسی روبات به این صفحات مطمئن شده و با رعایت اصول توضیح داده شده در مقاله ای با نام “۹ روش افزایش سرعت ایندکس” روند ایندکس شدن آنها را سریعتر کنید.
البته توجه داشته باشید که همیشه ایندکس نشدن صفحات سایت شما به معنی عدم دسترسی روبات گوگل نیست و در بسیاری از موارد مشاهده میشود که وبمستران حتی با رعایت نکات سئو از میزان بازدید سایت خود و سرعت ایندکس صفحات شکایت دارند. معمولا بررسی های اولیه نشان دهنده کپی بودن مطالب و استفاده از محتوای تکراری است. الگوریتم پنگوئن گوگل که وظیفه مبارزه با محتوای تکراری بر روی اینترنت را برعهده دارد، در این شرایط از نمایش سایت شما در نتایج گوگل و حتی در بعضی موارد از ایندکس شدن این مطالب جلوگیری میکند.