حل خطای Discovered – currently not indexed

حل خطای Discovered – currently not indexed؛ راهنمای کامل رفع مشکل ایندکس گوگل

یکی از وضعیت هایی که ممکن است در بخش Pages سرچ کنسول ببینید، Discovered – currently not indexed است. این پیام در نگاه اول کمی نگران کننده به نظر می رسد؛ مخصوصاً وقتی یک صفحه مهم را منتشر کرده اید و انتظار دارید خیلی زود وارد نتایج جستجوی گوگل شود.

اما یک نکته مهم وجود دارد: Discovered – currently not indexed با Not indexed به دلیل خطای فنی یکی نیست.

در این وضعیت، گوگل URL را می شناسد، اما هنوز آن را Crawl نکرده است. بنابراین اولین سؤال این نیست که «چرا صفحه ایندکس نمی شود؟» بلکه باید بپرسیم:

چرا گوگل URL را پیدا کرده اما هنوز سراغ Crawl آن نرفته است؟

در ادامه، مرحله به مرحله بررسی می کنیم که این وضعیت چرا ایجاد می شود، چه تفاوتی با سایر خطاهای ایندکس دارد و دقیقاً برای رفع آن چه کارهایی باید انجام دهید.

Discovered – currently not indexed دقیقاً چه مفهومی دارد؟

گوگل برای نمایش یک صفحه در نتایج جستجو باید چند مرحله را طی کند. به شکل ساده می توان این فرایند را به چهار مرحله تقسیم کرد:

1. کشف URL
2. Crawl و دریافت محتوای صفحه
3. پردازش و ارزیابی محتوا
4. قرار گرفتن در ایندکس

وقتی وضعیت صفحه Discovered – currently not indexed است، URL از مرحله اول عبور کرده، اما هنوز وارد مرحله Crawl نشده یا Crawl آن به تأخیر افتاده است.

برای مثال تصور کنید یک فروشگاه اینترنتی ۵۰ هزار صفحه محصول دارد. گوگل ممکن است URLهای زیادی را از طریق لینک های داخلی، Sitemap یا سایر سیگنال ها کشف کند، اما منابع نامحدودی برای Crawl تمام URLها ندارد. در چنین شرایطی، بعضی URLها در صف Crawl قرار می گیرند.

بنابراین وجود این وضعیت برای چند صفحه، مخصوصاً صفحات جدید، الزاماً نگران کننده نیست. مشکل زمانی جدی تر می شود که تعداد زیادی از صفحات مهم سایت برای مدت طولانی در همین وضعیت باقی بمانند.

تفاوت Discovered – currently not indexed با Crawled – currently not indexed

این دو وضعیت بسیار شبیه به نظر می رسند اما تفاوت مهمی دارند.

این تفاوت برای تشخیص مشکل بسیار مهم است. اگر صفحه هنوز Crawl نشده، تمرکز شما باید بیشتر روی دسترسی و اولویت Crawl باشد. اما اگر Crawl انجام شده و صفحه ایندکس نشده، باید کیفیت و ارزش محتوایی صفحه را جدی تر بررسی کنید.

مهم ترین دلایل ایجاد خطای Discovered – currently not indexed

۱. سایت Crawl Budget محدودی دارد

گوگل برای Crawl سایت ها منابع مشخصی در نظر می گیرد. این موضوع در سایت های بسیار بزرگ اهمیت بیشتری دارد، اما سایت های کوچک نیز می توانند به دلیل ساختار نامناسب، تولید URLهای بی ارزش یا مشکلات فنی، Crawl غیر بهینه ای داشته باشند.

فرض کنید سایت شما فقط ۳۰۰ صفحه اصلی ندارد، بلکه به واسطه فیلترها و پارامترهای URL هزاران آدرس مختلف تولید می کند. گوگل ممکن است بخش قابل توجهی از منابع Crawl را صرف URLهایی کند که ارزش واقعی برای ایندکس ندارند.

در چنین شرایطی، صفحات مهم ممکن است دیرتر Crawl شوند.

اگر سایت بزرگی دارید، مطالعه مدیریت بودجه خزش Crawl Budget می تواند به شما کمک کند ساختار Crawl سایت را دقیق تر بررسی کنید.

۲. لینک سازی داخلی ضعیف است

یکی از رایج ترین مشکلات سایت هایی که صفحات زیادی دارند، ضعف ارتباط بین صفحات است.

ممکن است URL جدیدی ایجاد کنید و آن را در Sitemap قرار دهید، اما هیچ صفحه مهمی از سایت به آن لینک نداده باشد. در این حالت، گوگل URL را ممکن است از Sitemap یا سایر منابع کشف کند، اما اهمیت و اولویت آن صفحه برای Crawl به اندازه یک صفحه ای که از چند صفحه معتبر لینک گرفته، مشخص نباشد.

برای صفحات مهم، لینک داخلی طبیعی ایجاد کنید. صفحه جدید باید بخشی از معماری محتوایی سایت باشد، نه یک URL孤立 در Sitemap.

۳. تعداد زیادی URL کم ارزش در سایت وجود دارد

فیلترهای فروشگاهی، پارامترهای Tracking، صفحات جستجوی داخلی، صفحات تکراری و URLهای تولیدشده توسط سیستم مدیریت محتوا می توانند تعداد URLهای سایت را به شدت افزایش دهند.

مثلاً یک فروشگاه را تصور کنید که برای یک محصول، URLهای مختلفی با پارامترهایی مثل رنگ، سایز، مرتب سازی و فیلتر ایجاد می کند. اگر این URLها به درستی مدیریت نشوند، موتور جستجو با تعداد زیادی آدرس مواجه می شود که ارزش مستقلی ندارند.

در این شرایط باید بررسی کنید که کدام URLها واقعاً ارزش Crawl و Index شدن دارند.

۴. Sitemap بهینه نیست

Sitemap باید به موتور جستجو کمک کند URLهای مهم را پیدا کند؛ نه اینکه به فهرستی از تمام URLهای سایت تبدیل شود.

اگر URLهای غیرقابل ایندکس، صفحات حذف شده، Redirectها، صفحات کم ارزش یا URLهای Canonical شده داخل Sitemap قرار گرفته باشند، کیفیت سیگنال Sitemap کاهش پیدا می کند.

در Sitemap بهتر است URLهایی قرار بگیرند که:

• وضعیت HTTP موفق دارند.
• قابل Crawl هستند.
• Canonical خودشان هستند.
• ارزش واقعی برای کاربران دارند.
• قرار است در نتایج جستجو نمایش داده شوند.

۵. ساختار سایت بیش از حد عمیق است

اگر رسیدن به یک صفحه مهم نیازمند عبور از چندین سطح لینک باشد، ممکن است دسترسی خزنده به آن صفحه دشوارتر شود.

ساختار منطقی سایت باید به گونه ای باشد که صفحات مهم از صفحات مرتبط و معتبر لینک دریافت کنند.

مثلاً برای یک سایت فروشگاهی، بهتر است مسیر منطقی بین صفحه دسته بندی، زیرمجموعه، محصول و مقالات مرتبط وجود داشته باشد.

۶. صفحه تازه منتشر شده است

گاهی هیچ مشکل خاصی وجود ندارد.

صفحه تازه منتشر شده و گوگل هنوز فرصت Crawl آن را پیدا نکرده است. این مسئله مخصوصاً برای سایت هایی با حجم Crawl پایین یا انتشار محتوای زیاد طبیعی است.

بنابراین اگر یک URL را همین امروز منتشر کرده اید، نباید بلافاصله نتیجه بگیرید که سایت مشکل ایندکس دارد.

۷. سایت یا دامنه سیگنال های ضعیفی دارد

سایت های جدید معمولاً در مقایسه با سایت های قدیمی تر، سابقه و سیگنال های کمتری دارند. این موضوع می تواند روی سرعت کشف و Crawl برخی URLها اثر بگذارد.

راه حل، تولید انبوه محتوا برای گرفتن ایندکس سریع نیست. اتفاقاً باید روی ساختار سایت، محتوای ارزشمند، لینک سازی داخلی، اعتبار موضوعی و دریافت سیگنال های طبیعی تمرکز کنید.

۸. مشکلات فنی در معماری سایت

گاهی ظاهر سایت کاملاً سالم است اما در پشت صحنه، مشکلاتی وجود دارد که Crawl را دشوار می کند.

نمونه هایی از مواردی که باید بررسی شوند:

• خطاهای سرور
• Timeoutهای مکرر
• Redirect chain
• صفحات بسیار کند
• URLهای پارامتریک متعدد
• لینک های داخلی شکسته
• مشکلات JavaScript در دسترسی به لینک ها
• ساختار پیچیده و غیرمنطقی URLها

چطور خطای Discovered – currently not indexed را مرحله به مرحله رفع کنیم؟

مرحله اول: URL را در سرچ کنسول بررسی کنید

ابتدا URL موردنظر را در ابزار URL Inspection سرچ کنسول وارد کنید.

بررسی کنید که آیا URL واقعاً قابل ایندکس است یا مشکلات دیگری مانند Noindex، Canonical اشتباه یا مسدود بودن Crawl وجود دارد.

این مرحله مهم است، چون نباید صرفاً با مشاهده عبارت Discovered، بلافاصله سراغ تغییرات گسترده بروید.

مرحله دوم: وضعیت robots.txt را بررسی کنید

اطمینان پیدا کنید که مسیر موردنظر به اشتباه توسط robots.txt مسدود نشده باشد.

اگرچه robots.txt و Noindex دو مفهوم متفاوت هستند، اما اشتباه در فایل robots می تواند دسترسی خزنده به بخش هایی از سایت را محدود کند.

برای بررسی عمیق تر این بخش، می توانید از ترفندهای پیشرفته robots.txt استفاده کنید.

مرحله سوم: Canonical را بررسی کنید

بررسی کنید صفحه Canonical خودش را دارد یا به URL دیگری اشاره می کند.

اگر چند URL مشابه دارید، باید مشخص باشد که کدام نسخه اصلی است. Canonical اشتباه می تواند سیگنال های موتور جستجو را به سمت URL دیگری هدایت کند.

مرحله چهارم: لینک های داخلی را تقویت کنید

یکی از عملی ترین کارها این است که از صفحات مرتبط و قدرتمند سایت به URL موردنظر لینک بدهید.

اما منظور از لینک سازی داخلی، قرار دادن لینک در ده ها صفحه به شکل مصنوعی نیست. لینک باید در متن طبیعی و در جایی قرار بگیرد که برای کاربر نیز مفید باشد.

برای مثال اگر مقاله ای درباره «انتخاب کولر گازی» دارید و مقاله جدید شما درباره «مصرف برق کولر گازی» است، می توانید از مقاله اول به مقاله دوم لینک بدهید.

مرحله پنجم: Sitemap را پاک سازی کنید

لیست URLهای موجود در Sitemap را بررسی کنید. اگر تعداد زیادی URL غیرضروری یا مشکل دار در آن وجود دارد، ابتدا Sitemap را اصلاح کنید.

یک Sitemap تمیز، به گوگل کمک می کند درک بهتری از URLهایی که واقعاً برای سایت مهم هستند داشته باشد.

مرحله ششم: صفحات کم ارزش را مدیریت کنید

اگر سایت شما هزاران صفحه دارد، همه آن ها الزاماً ارزش ایندکس شدن ندارند.

صفحات کم ارزش، تکراری یا تولیدشده توسط فیلترها را شناسایی کنید و بر اساس وضعیت هر صفحه تصمیم بگیرید که باید ایندکس شوند، Canonical داشته باشند، Redirect شوند یا از فرآیند Indexing خارج شوند.

آیا Request Indexing مشکل را حل می کند؟

در بعضی شرایط می تواند برای یک صفحه مهم مفید باشد، اما نباید آن را راه حل اصلی در نظر گرفت.

اگر صفحه تازه منتشر شده، محتوای ارزشمند دارد، لینک داخلی مناسب گرفته و هیچ مانع فنی ندارد، درخواست Indexing می تواند یک سیگنال عملی برای بررسی سریع تر URL باشد.

اما اگر مثلاً ۲۰ هزار URL دارید و ۱۵ هزار مورد از آن ها ارزش ایندکس شدن ندارند، ارسال درخواست برای تک تک URLها رویکرد درستی نیست.

چطور Crawl Budget سایت را بهتر مدیریت کنیم؟

مدیریت Crawl Budget بیشتر از اینکه یک کار واحد باشد، مجموعه ای از اقدامات است.

• URLهای غیرضروری را کاهش دهید.
• لینک های داخلی شکسته را اصلاح کنید.
• Redirect chainها را کاهش دهید.
• Sitemap را تمیز نگه دارید.
• صفحات مهم را در عمق زیادی از ساختار سایت قرار ندهید.
• پارامترهای غیرضروری URL را کنترل کنید.
• سرعت و پایداری سرور را بهبود دهید.
• از تولید بی رویه صفحات کم ارزش جلوگیری کنید.

اگر این مشکل در یک سایت بزرگ رخ داده است، به جای تمرکز روی یک URL، الگوی کلی URLهای Discovered – currently not indexed را بررسی کنید.

آیا محتوای ضعیف باعث Discovered – currently not indexed می شود؟

مستقیماً نباید همه موارد این وضعیت را به کیفیت محتوا نسبت داد؛ چون در این حالت، مسئله اصلی این است که صفحه هنوز Crawl نشده است.

بااین حال، کیفیت پایین معماری محتوا می تواند به شکل غیرمستقیم مشکل را تشدید کند. مثلاً سایتی را در نظر بگیرید که هر روز ده ها مقاله کوتاه، تکراری و بدون هدف جستجو منتشر می کند.

در چنین سایتی تعداد URLها سریع رشد می کند، در حالی که ارزش واقعی بخش زیادی از آن ها پایین است.

راه درست، انتشار کمتر اما هدفمندتر محتوا و ایجاد ارتباط معنایی بین صفحات است.

برای طراحی چنین ساختاری، مطالعه استراتژی محتوای خوشه ای Topic Cluster می تواند مفید باشد.

نقش Keyword Gap در جلوگیری از تولید صفحات کم ارزش

گاهی مشکل سایت از جایی شروع می شود که تیم محتوا بدون بررسی بازار و رقبا، برای هر موضوعی یک صفحه جدید ایجاد می کند.

نتیجه چیست؟

صفحات متعدد، هم پوشان و کم ارزش.

با تحلیل Keyword Gap می توان متوجه شد رقبا برای چه موضوعاتی رتبه گرفته اند و سایت شما چه خلأهایی دارد. سپس به جای تولید محتوای تصادفی، صفحات را بر اساس فرصت واقعی جستجو ایجاد می کنید.

برای پیدا کردن این خلأها می توانید از ابزار کیوردگپ یاب رنک فایند استفاده کنید.

همچنین برای درک بهتر مفهوم آن، مقاله کیورد گپ چیست؟ را مطالعه کنید.

چگونه تشخیص دهیم مشکل فقط یک صفحه است یا کل سایت؟

این سؤال اهمیت زیادی دارد.

اگر فقط یک یا دو URL جدید در وضعیت Discovered – currently not indexed هستند، احتمالاً موضوع طبیعی است و باید کمی زمان بدهید.

اما اگر صدها یا هزاران URL مهم سایت در این وضعیت قرار گرفته اند، احتمالاً باید یک بررسی فنی و معماری جدی تر انجام دهید.

آیا بک لینک گرفتن باعث رفع Discovered – currently not indexed می شود؟

بک لینک می تواند برای کشف و اعتبار صفحات سیگنال ایجاد کند، اما نباید آن را درمان قطعی این وضعیت بدانید.

اگر معماری سایت مشکل دارد یا هزاران URL بی ارزش تولید می کند، خرید تعداد زیادی بک لینک مشکل Crawl را حل نمی کند.

اول ساختار سایت و کیفیت صفحات را اصلاح کنید؛ سپس در صورت نیاز سراغ استراتژی Off-Page بروید.

برای تحلیل فرصت های رسانه ای رقبا می توانید از ابزار عنکبوت رنک فایند استفاده کنید تا رپورتاژها و خلأهای رسانه ای رقبا را بهتر بررسی کنید.

چه زمانی باید نگران Discovered – currently not indexed باشیم؟

خود عبارت Discovered – currently not indexed به تنهایی نشانه جریمه یا پنالتی نیست.

اما اگر وضعیت برای مدت طولانی باقی بماند و همزمان تعداد صفحات مهم سایت در این دسته افزایش پیدا کند، بهتر است موضوع را جدی بررسی کنید.

به خصوص زمانی که:

• صفحات تجاری مهم ایندکس نمی شوند.
• صفحات قدیمی و معتبر نیز Crawl نمی شوند.
• تعداد URLهای Discovered دائماً افزایش پیدا می کند.
• سایت هزاران URL غیرضروری تولید می کند.
• لینک سازی داخلی ضعیف است.
• سرور ناپایدار یا کند است.
• Sitemap کیفیت مناسبی ندارد.

یک چک لیست سریع برای رفع Discovered – currently not indexed

اگر می خواهید همین امروز بررسی را شروع کنید، این چک لیست را اجرا کنید:

1. URL را در URL Inspection بررسی کنید.
2. وضعیت Indexability را بررسی کنید.
3. robots.txt را بررسی کنید.
4. Canonical را بررسی کنید.
5. وجود URL در Sitemap را بررسی کنید.
6. از صفحات مرتبط به URL لینک داخلی بدهید.
7. صفحات کم ارزش و تکراری را شناسایی کنید.
8. URLهای پارامتریک و فیلترها را بررسی کنید.
9. خطاهای سرور و وضعیت پاسخ صفحات را بررسی کنید.
10. برای سایت های بزرگ، Crawl Budget را تحلیل کنید.
11. اگر صفحه جدید است، زمان کافی برای Crawl در نظر بگیرید.
12. پس از اصلاحات، وضعیت URL را دوباره بررسی کنید.

چطور وضعیت ایندکس صفحات را بعد از اصلاحات پیگیری کنیم؟

رفع مشکل بدون اندازه گیری نتیجه، بخشی از فرآیند سئو را ناقص می کند.

اگر صفحات مهمی را برای ایندکس آماده کرده اید، بهتر است وضعیت رتبه و عملکرد آن ها را در طول زمان بررسی کنید. این کار به شما نشان می دهد آیا اصلاحات انجام شده واقعاً نتیجه داده اند یا خیر.

برای پایش رتبه کلمات کلیدی می توانید از رتبه یاب و رنک ترکر رنک فایند استفاده کنید.

همچنین اگر می خواهید دید دقیق تری نسبت به فرصت های جستجوی رقبا داشته باشید، ابزار ملخ می تواند برای تحلیل کوئری ها، کلیک و ایمپرشن تخمینی رقبا مورد استفاده قرار بگیرد.

اشتباهاتی که هنگام رفع این خطا نباید انجام دهید

درخواست مکرر Indexing

ارسال چندباره درخواست ایندکس، جایگزین رفع مشکل فنی یا محتوایی نیست.

ساخت تعداد زیادی بک لینک ناگهانی

اگر مسئله از معماری سایت است، لینک سازی خارجی گسترده پاسخ مناسبی نیست.

حذف فوری صفحات

هر صفحه ای که ایندکس نشده، الزاماً بی ارزش نیست. قبل از حذف باید هدف صفحه، Search Intent، لینک های داخلی و ارزش تجاری آن را بررسی کنید.

تغییر مداوم URL

اگر یک URL را مرتباً تغییر دهید، سیگنال های موجود را پیچیده تر می کنید. ابتدا علت مشکل را پیدا کنید و سپس تغییرات لازم را انجام دهید.

تولید محتوای بیشتر بدون تحلیل

اگر مشکل شما تعداد زیاد URLهای کم ارزش است، تولید صفحات بیشتر می تواند وضعیت را بدتر کند.

آیا تغییر محتوا می تواند مشکل را حل کند؟

اگر صفحه هنوز Crawl نشده باشد، بازنویسی محتوا معمولاً اولین کاری نیست که باید انجام دهید. ابتدا باید مطمئن شوید گوگل به صفحه دسترسی دارد و URL از نظر معماری سایت جایگاه مناسبی دارد.

اما بعد از Crawl شدن، کیفیت محتوا اهمیت بسیار بیشتری پیدا می کند. بنابراین بهتر است دو مرحله را از یکدیگر جدا کنید:

جمع بندی؛ بهترین روش حل Discovered – currently not indexed چیست؟

خطای Discovered – currently not indexed در بسیاری از مواقع به این معنی نیست که صفحه شما خراب است یا گوگل آن را برای همیشه کنار گذاشته است. این وضعیت نشان می دهد URL کشف شده، اما هنوز Crawl و پردازش آن انجام نشده یا به تأخیر افتاده است.

اگر فقط چند صفحه تازه منتشرشده در این وضعیت هستند، عجله نکنید. اما اگر تعداد زیادی URL مهم سایت در این وضعیت قرار دارند، باید مسئله را در سطح معماری و Crawl بررسی کنید.

مهم ترین اقدامات عبارت اند از:

• بررسی URL در Search Console
• بررسی robots.txt و Canonical
• تقویت لینک سازی داخلی
• پاک سازی Sitemap
• کنترل URLهای پارامتریک و کم ارزش
• بهینه سازی Crawl Budget در سایت های بزرگ
• بررسی خطاهای سرور و معماری فنی
• ساخت محتوای هدفمند به جای تولید انبوه صفحات
• پایش مداوم وضعیت ایندکس و رتبه صفحات

در نهایت، هدف فقط این نیست که یک URL از وضعیت Discovered خارج شود. هدف واقعی این است که موتور جستجو بتواند صفحات مهم سایت را به درستی پیدا کند، Crawl کند، درک کند و در زمان مناسب در نتایج جستجو نمایش دهد.

سؤالات متداول درباره Discovered – currently not indexed

Discovered – currently not indexed یعنی صفحه من جریمه شده است؟

خیر. این وضعیت به تنهایی به معنی جریمه یا پنالتی نیست. گوگل URL را کشف کرده اما هنوز آن را Crawl نکرده یا پردازش آن به تأخیر افتاده است.

چقدر طول می کشد صفحه از Discovered خارج شود؟

زمان مشخص و تضمین شده ای وجود ندارد. سرعت Crawl به عواملی مانند اندازه سایت، ساختار داخلی، وضعیت سرور، اهمیت URL، تعداد URLهای موجود و الگوی Crawl سایت بستگی دارد.

آیا Request Indexing حتماً این مشکل را حل می کند؟

خیر. درخواست ایندکس می تواند برای صفحات مشخص مفید باشد، اما تضمینی برای Crawl یا Index شدن نیست و جایگزین رفع مشکلات معماری، فنی یا کیفیتی سایت نمی شود.

آیا Sitemap باعث ایندکس سریع تر صفحه می شود؟

Sitemap به کشف URLهای مهم کمک می کند، اما تضمین نمی کند که همه URLهای موجود در آن Crawl یا Index شوند. Sitemap باید شامل URLهای مهم، قابل دسترسی و Canonical سایت باشد.

آیا لینک داخلی می تواند به رفع این وضعیت کمک کند؟

بله. لینک داخلی مناسب می تواند به کشف بهتر صفحات، درک ارتباط موضوعی و هدایت خزنده به سمت URLهای مهم کمک کند. لینک ها باید طبیعی و مرتبط باشند.

اگر تعداد صفحات Discovered زیاد باشد چه کار کنیم؟

ابتدا الگوی URLها را بررسی کنید. سپس Sitemap، لینک های داخلی، URLهای پارامتریک، صفحات فیلتر، صفحات کم ارزش، وضعیت سرور و Crawl Budget را بررسی کنید. در سایت های بزرگ، مشکل معمولاً یک URL منفرد نیست و باید در سطح معماری سایت بررسی شود.

آیا حذف صفحات Discovered – currently not indexed کار درستی است؟

نه لزوماً. قبل از حذف باید ارزش صفحه، هدف جستجو، لینک های داخلی، پتانسیل ترافیک و نقش آن در معماری محتوایی سایت بررسی شود. صرفاً ایندکس نشدن دلیل کافی برای حذف صفحه نیست.

آیا Discovered – currently not indexed با Crawled – currently not indexed فرق دارد؟

بله. در Discovered، گوگل URL را پیدا کرده اما هنوز Crawl نکرده یا Crawl آن به تأخیر افتاده است. در Crawled، گوگل صفحه را Crawl کرده اما در حال حاضر آن را در ایندکس قرار نداده است.