فیلتر کردن ترافیک فیک ربات های AI در آنالیتیکس

چرا ترافیک ربات های AI می تواند گزارش آنالیتیکس را به هم بزند؟

تصور کنید یک سایت روزانه حدود ۱۰ هزار سشن دارد. ناگهان در یک بازه کوتاه، تعداد بازدیدها ۲۰ یا ۳۰ درصد بیشتر می شود؛ اما نرخ تعامل پایین می آید، تعداد صفحات مشاهده شده رشد نمی کند و تبدیل ها تقریباً ثابت می مانند. اولین واکنش معمولاً این است که «سئو خراب شده» یا «یک منبع ترافیک بی کیفیت پیدا شده است». در حالی که ممکن است بخشی از این افزایش مربوط به اتوماسیون باشد.

ربات ها معمولاً برای اهداف مختلفی فعالیت می کنند: خزش و ایندکس محتوا، جستجوی اطلاعات برای پاسخ گویی هوش مصنوعی، پایش قیمت و موجودی، بررسی صفحات، اسکرپ محتوا، تست سایت، جمع آوری داده یا حتی حمله و سوءاستفاده.

از طرف دیگر، همه ربات های AI یکسان نیستند. برای مثال، OpenAI ربات هایی با کاربردهای جداگانه دارد و بین GPTBot، OAI-SearchBot و ChatGPT-User تفکیک قائل می شود. Anthropic نیز بین ربات های مختلف خود تفاوت می گذارد و Perplexity هم ربات های جستجو و درخواست کاربر را جدا می کند. بنابراین اینکه در یک گزارش فقط عبارت «AI Bot» را ببینیم، برای تصمیم گیری کافی نیست.

آیا GA4 خودش ترافیک ربات ها را حذف می کند؟

بله؛ اما فقط تا جایی که بتواند ترافیک ربات ها و اسپایدرهای شناخته شده را تشخیص دهد. طبق مستندات رسمی Google، در Google Analytics ترافیک شناخته شده ربات ها و اسپایدرها به صورت خودکار حذف می شود و کاربر امکان مشاهده مقدار ترافیکی که حذف شده را نیز ندارد. بنابراین اگر چیزی به عنوان «ربات ناشناخته» یا «اتوماسیون سفارشی» در داده شما باقی مانده باشد، نباید انتظار داشته باشید GA4 تمام آن را به صورت خودکار تشخیص دهد.

این نکته اهمیت زیادی دارد: وجود ترافیک عجیب در GA4 به این معنی نیست که Google نتوانسته یک بات شناخته شده را حذف کند. ممکن است آن ترافیک مربوط به یک ابزار ناشناخته، مرورگر خودکار، اسکریپت سفارشی یا حتی یک رباتی باشد که از دید GA4 مانند یک مرورگر عادی رفتار می کند.

برای جزئیات بیشتر، مستندات رسمی Google درباره Known Bot-Traffic Exclusion را بررسی کنید.

اول یک تفاوت مهم: خزنده AI با بازدید AI یکی نیست

این یکی از مهم ترین مفاهیم مقاله است. وقتی درباره «ترافیک AI» صحبت می کنیم، ممکن است منظورمان دو چیز کاملاً متفاوت باشد.

در نتیجه، اگر هدفتان فیلتر کردن «ربات های AI» است، نباید با یک فیلتر ساده در GA4 شروع کنید. اول باید بدانید دقیقاً چه چیزی را می خواهید حذف کنید.

کدام ربات های AI را بیشتر باید بشناسیم؟

نام ربات ها دائماً در حال تغییر و تکامل است، بنابراین بهتر است به جای ساختن یک لیست ثابت و قدیمی، مستندات ارائه دهنده را در زمان پیاده سازی بررسی کنید.

GPTBot

GPTBot یک User-Agent متعلق به OpenAI است که برای خزش محتوای وب و استفاده احتمالی از آن در بهبود مدل های پایه OpenAI به کار می رود. OpenAI امکان مدیریت این ربات از طریق robots.txt را نیز مستند کرده است.

OAI-SearchBot

OAI-SearchBot برای کاربردهای جستجو در ChatGPT استفاده می شود. این موضوع مهم است، زیرا نباید GPTBot و OAI-SearchBot را صرفاً به دلیل تعلق به یک شرکت، یکسان فرض کرد. هدف و سیاست دسترسی این دو ربات می تواند متفاوت باشد.

ChatGPT-User

OpenAI برای برخی درخواست های آغازشده توسط کاربر از User-Agent دیگری نیز استفاده می کند. این حالت با یک خزنده خودکار دائمی یکسان نیست و همین تفاوت هنگام طراحی فیلتر اهمیت پیدا می کند.

ClaudeBot و ربات های Anthropic

Anthropic نیز مجموعه ای از ربات ها را برای اهداف مختلف استفاده می کند. طبق مستندات Anthropic، ClaudeBot برای جمع آوری محتوای وب مرتبط با توسعه مدل ها به کار می رود و مدیریت دسترسی آن از طریق robots.txt امکان پذیر است.

PerplexityBot

PerplexityBot برای قرار گرفتن صفحات در نتایج جستجوی Perplexity استفاده می شود. Perplexity در مستندات خود میان PerplexityBot و Perplexity-User تفاوت قائل شده است. بنابراین مسدودسازی یک User-Agent باید با شناخت کاربرد آن انجام شود.

این تفکیک نشان می دهد که جمله «همه بات های AI را ببند» از نظر فنی و استراتژیک بیش از حد ساده سازی شده است.

چطور بفهمیم ترافیک واقعاً مربوط به AI Bot است؟

تشخیص حرفه ای بر اساس یک نشانه انجام نمی شود. باید چند سیگنال را هم زمان بررسی کنید.

۱. User-Agent را بررسی کنید

اولین سیگنال معمولاً User-Agent است. عباراتی مانند GPTBot، OAI-SearchBot، ClaudeBot یا PerplexityBot می توانند سرنخ خوبی باشند. اما User-Agent قابل جعل است. یعنی هر کسی می تواند یک رشته User-Agent مشابه یک خزنده معتبر ارسال کند.

Google نیز در مستندات خود درباره Googlebot صراحتاً هشدار می دهد که User-Agent به تنهایی برای اثبات هویت خزنده کافی نیست و باید درخواست های مشکوک با روش های مناسب مانند بررسی IP یا Reverse DNS را راستی آزمایی کرد.

۲. IP و محدوده های شبکه را بررسی کنید

اگر در لاگ سرور IP درخواست را دارید، بررسی کنید که آیا آدرس از محدوده های رسمی منتشرشده توسط سرویس دهنده می آید یا نه. این مرحله برای تمایز بین ربات واقعی و باتی که فقط User-Agent خود را جعل کرده، بسیار مهم است.

۳. الگوی زمانی را تحلیل کنید

فرض کنید یک IP در هر ۲۰ ثانیه صفحه دیگری را درخواست می کند و این رفتار ۱۸ ساعت ادامه دارد. این الگو کاملاً متفاوت از رفتاری است که یک کاربر واقعی نشان می دهد. نرخ درخواست، فاصله بین درخواست ها، تعداد URLها و ترتیب صفحات اطلاعات ارزشمندی به شما می دهند.

۴. حجم JavaScript و رویدادها را بررسی کنید

یکی از نکات جذاب این است که صرف مشاهده یک درخواست HTTP به معنی ثبت یک User در GA4 نیست. برای اینکه داده ای وارد GA4 شود، باید کد یا سازوکار جمع آوری Analytics واقعاً اجرا و درخواست Analytics ارسال شود. بعضی خزنده ها فقط HTML را دریافت می کنند و هرگز JavaScript شما را اجرا نمی کنند. در این حالت ممکن است سرور صدها درخواست را ثبت کند، اما GA4 هیچ کدام را نبیند.

۵. Session Quality را با هم مقایسه کنید

در ترافیک مشکوک، الگوهایی مانند Engagement بسیار پایین، صفحات محدود، نرخ خروج بسیار متفاوت، کشور یا دستگاه غیرعادی و جهش های ناگهانی می توانند سرنخ باشند. با این حال، هیچ یک از این موارد به تنهایی مدرک قطعی Bot بودن نیست.

چرا ساختن فیلتر Bot در خود GA4 همیشه بهترین راه نیست؟

یکی از سوءبرداشت های رایج این است که می توان برای هر نوع Bot یک Data Filter ساخت و کار تمام شود. در واقع Data Filterهای GA4 انواع مشخصی دارند. Google برای Data Filterها مواردی مانند Internal Traffic، Developer Traffic و Web Hostname Traffic را مستند کرده است.

یعنی GA4 ابزار همه منظوره ای برای «اگر User-Agent شامل GPTBot بود، داده را حذف کن» در اختیار شما قرار نمی دهد. به همین دلیل، وقتی با ترافیک غیرعادی در سطح زیرساخت روبه رو هستید، محل مناسب تر برای کنترل آن معمولاً CDN، WAF، Reverse Proxy یا Web Server است.

همچنین Google هشدار می دهد که Data Filterها از زمان ایجاد به بعد عمل می کنند، روی داده تاریخی اثر نمی گذارند و در صورت فعال شدن یک Exclude Filter، داده حذف شده دیگر برای Analytics و BigQuery در دسترس نخواهد بود.

روش حرفه ای برای فیلتر کردن ترافیک فیک ربات های AI

یک معماری قابل اعتماد برای بسیاری از سایت ها به این شکل است:

لایه ۱: تشخیص در Server Log
در لاگ سرور مشخص کنید چه کسی درخواست را ارسال کرده، با چه User-Agent، از چه IP و با چه الگوی زمانی.

لایه ۲: طبقه بندی
درخواست ها را به دسته های Human، Verified Bot، AI Crawler، AI User Fetcher، Monitoring Bot و Suspicious Bot تقسیم کنید.

لایه ۳: تصمیم
برای هر دسته تصمیم جداگانه بگیرید. همه چیز نباید Block شود.

لایه ۴: کنترل زیرساخت
برای Botهای واقعاً مزاحم از WAF، Rate Limit، CDN Rules یا تنظیمات سرور استفاده کنید.

لایه ۵: تحلیل GA4
داده های باقی مانده را در GA4 بررسی کنید و روی رفتار و تبدیل تمرکز کنید.

لایه ۶: بررسی اثر روی SEO و AI Visibility
بعد از هر تغییر، بررسی کنید که آیا دسترسی موتورهای جستجو یا سرویس های AI مفید ناخواسته محدود نشده است.

آیا robots.txt برای حذف ترافیک ربات AI کافی است؟

خیر. robots.txt یک ابزار اعلام سیاست دسترسی است، نه دیوار امنیتی. طبق مستندات Cloudflare، ربات ها لزوماً مجبور نیستند robots.txt را رعایت کنند. بنابراین اگر هدف شما فقط اعلام ترجیح است، robots.txt گزینه مناسبی است؛ اما اگر می خواهید یک ربات واقعاً نتواند به منبع دسترسی پیدا کند، باید از مکانیزم های فنی دیگری مانند کنترل امنیتی، WAF یا ابزارهای مدیریت AI Crawler استفاده کنید.

از این جهت باید بین Control of Crawling و Protection of Infrastructure تفاوت بگذارید. robots.txt بیشتر در دسته اول است؛ WAF و Rate Limiting بیشتر در دسته دوم قرار می گیرند.

نمونه سیاست robots.txt

ساختار دقیق robots.txt باید بر اساس سیاست واقعی سایت تنظیم شود. برای نمونه، اگر یک سایت تصمیم بگیرد دسترسی یک خزنده خاص را محدود کند، می تواند یک گروه User-agent اختصاصی تعریف کند.

User-agent: GPTBot
Disallow: /

اما اجرای چنین قانونی بدون درک هدف ربات می تواند تصمیم نادرستی باشد. در مورد OpenAI، GPTBot و OAI-SearchBot کاربردهای یکسانی ندارند. بنابراین بهتر است قبل از تغییر robots.txt مستندات رسمی ارائه دهنده بررسی شود.

چه زمانی باید یک AI Bot را Block کنیم؟

سه سناریوی مهم را در نظر بگیرید.

سناریوی اول: Bot معتبر و مفید

خزنده شناخته شده است، هویت آن قابل راستی آزمایی است، نرخ درخواست منطقی دارد و شما می خواهید محتوایتان برای اکوسیستم مربوطه قابل کشف باشد. در این وضعیت Block کردن صرفاً به خاطر ماهیت AI، الزاماً تصمیم خوبی نیست.

سناریوی دوم: Bot معتبر ولی بیش ازحد پرمصرف

ممکن است ربات حقیقی باشد اما نرخ درخواست آن آن قدر زیاد شود که CPU، پهنای باند یا زمان پاسخ سرور را تحت فشار قرار دهد. در این حالت Rate Limit یا Crawl Control معمولاً منطقی تر از Block کامل است.

سناریوی سوم: Bot جعلی یا مخرب

User-Agent می گوید GPTBot، اما IP با اطلاعات رسمی تطابق ندارد، نرخ درخواست بسیار بالا است و رفتار الگوی اسکرپ دارد. در این حالت بهتر است به جای اعتماد به User-Agent، درخواست را در لایه زیرساخت کنترل کنید.

چطور ترافیک فیک را در GA4 تحلیل کنیم؟

برای تحلیل اولیه، به جای تمرکز روی یک عدد، چند Dimension و Metric را کنار هم قرار دهید. برای مثال کشور، دستگاه، مرورگر، صفحه فرود، منبع و مسیر کاربر را بررسی کنید و دنبال الگوهای غیرعادی بگردید.

یکی از رویکردهای مناسب این است که ابتدا یک Exploration بسازید و ترافیک مربوط به Source/Mediumهای مشکوک را جدا کنید. سپس بررسی کنید آیا این گروه به صفحات زیادی مراجعه می کند، آیا Eventهای طبیعی ایجاد می کند و آیا رفتار آن با سایر کاربران تفاوت معنی داری دارد.

برای سایت هایی که نیاز تحلیلی پیشرفته تری دارند، Google امکان انتقال داده خام GA4 به BigQuery را فراهم کرده است. این مسیر به شما اجازه می دهد داده های خام رویدادها را با SQL تحلیل کنید و در کنار داده های Analytics از داده های بیرونی نیز استفاده کنید.

اما یک نکته مهم: BigQuery به تنهایی معجزه نمی کند. اگر یک ربات اصلاً رویدادی به GA4 ارسال نکرده باشد، آن Bot را ناگهان داخل BigQuery هم پیدا نخواهید کرد. برای همین تحلیل Server Log در کنار Analytics بسیار ارزشمند است.

استفاده از Custom Dimension برای طبقه بندی ترافیک

اگر معماری فنی سایت اجازه دهد، می توانید یک فیلد تحلیلی برای طبقه بندی ترافیک ایجاد کنید. Google در GA4 از Custom Dimensionهای Event-scoped و User-scoped پشتیبانی می کند.

برای مثال، در یک لایه پردازشی می توان اطلاعاتی مانند این را به یک پارامتر تحلیلی تبدیل کرد:

traffic_class = human
traffic_class = ai_verified
traffic_class = suspicious
traffic_class = monitoring
traffic_class = internal

بعد می توانید آن را به عنوان Custom Dimension ثبت کرده و در Exploration یا گزارش های سفارشی استفاده کنید. البته باید مراقب High Cardinality باشید و برای این کار از مقادیر محدود و معنادار استفاده کنید.

این روش برای طبقه بندی و تحلیل بسیار بهتر از این است که بدون شناخت کافی، بلافاصله همه چیز را حذف کنید.

یک اشتباه رایج: فیلتر کردن بر اساس کشور

گاهی مدیر سایت می بیند تعداد زیادی Session از کشوری خاص ثبت شده و سریع تصمیم می گیرد آن کشور را از داده حذف کند. این روش ممکن است در کوتاه مدت نمودار را تمیز کند، اما از نظر تحلیلی پرریسک است.

ممکن است بخشی از کاربران واقعی شما نیز از همان کشور باشند. همچنین IPهای Cloud و سرویس های ابری می توانند باعث شوند جغرافیای واقعی کاربر یا ربات با چیزی که انتظار دارید متفاوت باشد.

کشور به تنهایی Bot Identifier نیست. کشور فقط باید یکی از چند سیگنال تشخیصی باشد.

فیلتر کردن Bot در CDN و WAF؛ راهکار بهتر برای ترافیک مخرب

اگر ربات واقعاً مخرب است، بهتر است قبل از رسیدن درخواست به اپلیکیشن، آن را کنترل کنید. مزیت این روش واضح است: درخواست های غیرضروری دیگر مجبور نیستند منابع سایت و WordPress یا سرور اصلی را مصرف کنند.

در این لایه می توان از تکنیک هایی مانند Rate Limiting، Bot Management، Challenge، Rule بر اساس User-Agent، IP Reputation و ترکیب چند شرط استفاده کرد.

Cloudflare نیز در سال ۲۰۲۶ ابزارهای مشخصی برای مشاهده، تحلیل و مدیریت AI Crawlerها ارائه کرده است. طبق مستندات این سرویس، مدیر سایت می تواند فعالیت خزنده های AI را ببیند، الگوی درخواست را بررسی کند و برای برخی خزنده ها سیاست Allow یا Block تعریف کند.

برای همین، اگر مشکل شما واقعاً «ربات زیاد به سرور درخواست می فرستد» است، نباید تمام راه حل را در GA4 جستجو کنید.

نقش Search Console در کنار GA4

یکی از اشتباهات مهم در تحلیل SEO این است که Google Analytics و Search Console را یک ابزار واحد در نظر بگیریم. این دو منبع داده متفاوت هستند. Search Console روی عملکرد سایت در Google Search تمرکز می کند؛ در حالی که Analytics برای تحلیل رفتار کاربران و تعاملات بعد از ورود به سایت استفاده می شود.

در سال ۲۰۲۶، Google گزارش های اختصاصی تری برای visibility در قابلیت های Search مبتنی بر generative AI نیز معرفی کرده است. بنابراین هنگام تحلیل اثر AI روی کسب وکار، بهتر است فقط به Sessions نگاه نکنید و Visibility، Click، Engagement و Conversion را در کنار هم ببینید.

آیا باید همه AI Crawlerها را بلاک کنیم تا آمار GA4 واقعی شود؟

نه. این کار ممکن است یک مسئله را حل کند و مسئله بزرگ تری بسازد.

هدف واقعی باید این باشد که داده تحلیلی شما قابل اعتماد شود، زیرساخت تحت کنترل باشد و در عین حال دسترسی های ارزشمند SEO و AI بدون دلیل قطع نشوند.

برای مثال، Google درباره AI features تأکید کرده که اصول بنیادی SEO همچنان اهمیت دارند و برای حضور در قابلیت های AI Search، تمرکز روی محتوای مفید، قابل دسترس و استانداردهای فنی همچنان ضروری است.

پس AI Visibility و AI Crawling را نباید ذاتاً منفی در نظر گرفت. مسئله زمانی شروع می شود که یک Bot بدون ارزش واقعی، منابع سایت را مصرف کند یا داده های تحلیلی را مخدوش کند.

چک لیست تشخیص ترافیک فیک ربات AI

قبل از هر تغییر، این موارد را بررسی کنید:

• User-Agent دقیق درخواست چیست؟
• آیا IP با محدوده رسمی ارائه دهنده تطابق دارد؟
• آیا درخواست ها فقط در Server Log دیده می شوند یا در GA4 هم ثبت شده اند؟
• نرخ درخواست ها چقدر است؟
• آیا JavaScript اجرا می شود؟
• آیا رفتار Session با انسان واقعی تفاوت دارد؟
• آیا منبع ترافیک باعث افزایش Conversion می شود یا فقط Sessions را بالا می برد؟
• آیا این Bot برای SEO یا AI Search شما ارزش دارد؟
• آیا Rate Limit بهتر از Block کامل است؟
• آیا تغییر شما ممکن است Googlebot یا خزنده های مفید را هم تحت تأثیر قرار دهد؟

یک سناریوی واقعی برای سایت های فروشگاهی

فرض کنید یک فروشگاه اینترنتی در طول هفته ۵۰ هزار Session دارد. ناگهان این عدد به ۷۰ هزار می رسد. در نگاه اول، رشد ۴۰ درصدی فوق العاده به نظر می رسد.

اما وقتی داده را تفکیک می کنید، متوجه می شوید نرخ Engagement برای بخش جدید بسیار پایین است، صفحات محصول به صورت تکراری درخواست شده اند، Conversion رشد نکرده و در Server Log نیز تعداد زیادی درخواست پشت سرهم از چند محدوده IP مشاهده می شود.

در این شرایط، قرار دادن یک Exclude Filter عجولانه در GA4 ممکن است فقط صورت مسئله را پنهان کند. راه حرفه ای این است که بفهمید منبع چیست، درخواست ها در کدام لایه تولید می شوند و آیا باید آنها را در CDN یا WAF محدود کنید.

بعد از اعمال کنترل زیرساخت، در GA4 بررسی کنید که آیا کیفیت داده نیز بهتر شده است.

تأثیر Bot Traffic روی KPIهای SEO

ترافیک فیک می تواند تفسیر بعضی KPIها را سخت تر کند. اگر Sessions افزایش پیدا کند ولی Conversion ثابت بماند، ممکن است نرخ Conversion افت کند. اگر Engagement تحت تأثیر رفتار غیرانسانی قرار بگیرد، تحلیل کیفیت محتوا نیز پیچیده تر می شود.

این موضوع به خصوص زمانی خطرناک است که مدیر سازمان فقط یک نمودار را ببیند و بر اساس آن درباره عملکرد SEO تصمیم بگیرد.

برای گزارش گیری حرفه ای، بهتر است بین Traffic Volume، Qualified Traffic و Business Outcomes تفاوت بگذارید. این دقیقاً همان جایی است که مطالعه مقاله محاسبه ROI سئو و ارائه آن به مدیر می تواند به تصمیم گیری بهتر کمک کند.

بعد از پاکسازی ترافیک فیک، SEO را چگونه دوباره ارزیابی کنیم؟

بعد از اینکه داده را تمیز کردید، یک مقایسه قبل و بعد بسازید. اما فقط تعداد Sessions را مقایسه نکنید.

بهتر است روند Organic Traffic، Conversion، Engagement، Landing Pages، Top Queries و Rank Distribution را کنار هم ببینید.

در این مرحله ابزار رتبه یاب رنک فایند می تواند برای پایش رتبه کلمات کلیدی و مشاهده روند تغییرات رتبه ها به کار برود. این ابزار جای تحلیل Bot را نمی گیرد؛ کاربردش این است که بعد از پاکسازی داده بتوانید ببینید عملکرد واقعی SEO چه مسیری را طی می کند.

چطور ترافیک AI را با استراتژی محتوا اشتباه نگیریم؟

فرض کنید پس از رشد حضور در AI Search، ترافیک Referral یا Organic تغییر کرده است. ممکن است شما سریع نتیجه بگیرید که تعدادی از صفحات باید حذف شوند. اما شاید مشکل اصلی، کیفیت داده یا تغییر مسیر attribution باشد.

در چنین شرایطی، ابتدا باید مشخص کنید کدام کلمات کلیدی رشد کرده اند، کدام صفحات بیشترین Visibility را دارند و آیا رقبا روی موضوعاتی حضور دارند که شما ندارید.

اینجاست که ابزار کیوردگپ یاب رنک فایندمی تواند در کشف شکاف کلمات کلیدی به شما کمک کند.

همچنین برای پیدا کردن فرصت های رسانه ای و بررسی حضور رقبا می توانید از ابزار عنکبوت رنک فایند استفاده کنید. این ابزار وظیفه فیلتر Bot در GA4 را ندارد، اما در لایه استراتژی SEO می تواند برای کشف فرصت های خارج از داده های صرفاً تحلیلی مفید باشد.

Bot Traffic، Crawl Budget و زیرساخت؛ سه موضوع متفاوت

گاهی هر سه مفهوم با هم اشتباه گرفته می شوند.

Bot Traffic در Analytics یعنی شما در داده تحلیلی با فعالیتی مواجه شده اید که ممکن است انسانی نباشد.

Crawl Budget مربوط به منابعی است که موتور جستجو برای خزش سایت شما مصرف می کند و بیشتر در حوزه Crawl و Search Engine است.

Infrastructure Load مربوط به فشاری است که درخواست ها روی سرور، CDN، دیتابیس و منابع فنی سایت وارد می کنند.

بنابراین ممکن است یک Bot اصلاً در GA4 دیده نشود، اما فشار بسیار زیادی روی سرور ایجاد کند. برعکس، ممکن است نوع خاصی از اتوماسیون در GA4 دیده شود اما از نظر منابع زیرساخت مشکل بزرگی ایجاد نکند.

برای مطالعه بیشتر درباره بهینه سازی خزش، مقاله مدیریت بودجه خزش Crawl Budget در سایت های بزرگ را بخوانید.

از robots.txt تا WAF؛ از کدام ابزار برای چه کاری استفاده کنیم؟

آیا می توان ترافیک فیک را ۱۰۰ درصد حذف کرد؟

خیر، و بهتر است از ابتدا با این انتظار وارد پروژه نشوید. Botها User-Agent خود را تغییر می دهند، IPها جابه جا می شوند و برخی Agentها مانند مرورگر واقعی رفتار می کنند.

هدف حرفه ای تر این است که مقدار قابل توجهی از ترافیک نامطلوب را شناسایی و محدود کنید و در عین حال ترافیک ارزشمند را حفظ کنید.

همچنین مهم است که «ربات» را مساوی «بد» ندانید. یک Bot می تواند از نظر زیرساختی پرمصرف باشد ولی از نظر SEO ارزشمند باشد. یک Bot دیگر می تواند کاملاً بی فایده یا مخرب باشد. سیاست باید بر اساس کاربرد و ریسک تعیین شود.

۸ اشتباه رایج در فیلتر کردن ترافیک AI

فیلتر کردن ترافیک AI اگر بدون شناخت دقیق منبع و رفتار ترافیک انجام شود، می تواند باعث حذف داده های ارزشمند، خطا در تحلیل GA4 و حتی محدود شدن ربات های مفید شود. اشتباه رایج این است که مدیر سایت صرفاً با تکیه بر User-Agent، کشور، یا یک نشانه ساده تصمیم به Block یا Exclude بگیرد؛ در حالی که تشخیص Bot باید با بررسی چند سیگنال مانند Server Log، الگوی درخواست ها، IP، User-Agent و رفتار ترافیک انجام شود.

اشتباه اول: اعتماد کامل به User-Agent

User-Agent فقط یک سیگنال است، نه اثبات هویت.

اشتباه دوم: حذف همه AI Botها

ممکن است برخی کانال های کشف و جستجوی AI را ناخواسته محدود کنید.

اشتباه سوم: استفاده از Country به عنوان Bot Filter

جغرافیا به تنهایی معیار قابل اتکایی برای Bot Detection نیست.

اشتباه چهارم: تصور اینکه هر درخواست سرور وارد GA4 شده است

بسیاری از خزنده ها فقط HTTP Request ایجاد می کنند و الزاماً رویداد Analytics ارسال نمی کنند.

اشتباه پنجم: استفاده عجولانه از Data Filter دائمی

بعد از فعال شدن Exclude Filter، داده حذف شده دیگر در Analytics در دسترس نخواهد بود.

اشتباه ششم: نادیده گرفتن Server Log

در بسیاری از سناریوهای Bot، لاگ سرور از GA4 اطلاعات مهم تری ارائه می کند.

اشتباه هفتم: Block به جای Rate Limit

گاهی لازم نیست یک ربات را کاملاً مسدود کنید؛ کاهش نرخ درخواست می تواند کافی باشد.

اشتباه هشتم: تمیز کردن نمودار بدون بررسی کسب وکار

هدف نهایی فقط عدد تمیزتر نیست؛ باید بتوانید تصمیم بهتری برای SEO و Conversion بگیرید.

رویکرد پیشنهادی رنک فایند برای سایت های حرفه ای

یک فرآیند استاندارد می تواند این طور باشد:

مرحله اول: از Server Log نمونه ای از درخواست های مشکوک استخراج کنید.

مرحله دوم: User-Agent، IP، زمان بندی و الگوی Crawl را طبقه بندی کنید.

مرحله سوم: مشخص کنید کدام درخواست ها واقعاً وارد GA4 شده اند.

مرحله چهارم: از حذف اطلاعات در سطح Analytics پیش از اعتبارسنجی خودداری کنید.

مرحله پنجم: Botهای مخرب را در CDN، WAF یا سرور محدود کنید.

مرحله ششم: برای خزنده های AI معتبر، سیاست Allow یا Block را بر اساس هدف کسب وکار تنظیم کنید.

مرحله هفتم: بعد از تغییر، KPIهای SEO و Conversion را دوباره پایش کنید.

مرحله هشتم: برای تصمیم گیری درباره SEO فقط روی Traffic خام تکیه نکنید.

برای تحلیل دقیق تر SEO، داده را با رقبا و کلمات کلیدی ترکیب کنید

گاهی بعد از پاکسازی ترافیک، تیم SEO متوجه می شود مسئله اصلی اصلاً Bot نبوده است؛ بلکه تعداد زیادی بازدید کم ارزش از کلمات اشتباه وارد سایت می شده است.

در اینجا تحلیل Search Intent، Keyword Gap و رتبه رقبا اهمیت بیشتری پیدا می کند.

می توانید برای بررسی شکاف موضوعی از راهنمای کیورد گپ استفاده کنید و سپس با ابزار ملخ رنک فایند سناریوهای داده ای رقبا و کوئری های احتمالی را بهتر بررسی کنید.

همچنین اگر در فرایند تولید محتوا با تعداد زیادی URL مشابه و رقابتی روبه رو هستید، مقاله حل مشکل Cannibalization کلمات کلیدی می تواند برای تفکیک بهتر صفحات مفید باشد.

FAQ؛ سوالات متداول درباره فیلتر ترافیک فیک ربات های AI

آیا GA4 همه ربات های AI را به صورت خودکار حذف می کند؟

خیر. GA4 ترافیک ربات ها و اسپایدرهای شناخته شده را تا حد امکان به صورت خودکار حذف می کند، اما این به معنی شناسایی کامل همه ربات های جدید، سفارشی یا مخفی نیست. همچنین بسیاری از خزنده ها ممکن است اصلاً JavaScript Analytics را اجرا نکنند و فقط در Server Log دیده شوند.

آیا GPTBot همان OAI-SearchBot است؟

خیر. OpenAI این User-Agentها را برای کاربردهای متفاوت معرفی کرده است. GPTBot برای خزش مرتبط با توسعه مدل ها و OAI-SearchBot برای قابلیت های جستجوی ChatGPT مستند شده است.

آیا می توان GPTBot را در GA4 فیلتر کرد؟

GA4 Data Filterها برای Bot Detection عمومی طراحی نشده اند. برای کنترل درخواست های واقعی بهتر است تشخیص و مسدودسازی در لایه Server، CDN یا WAF انجام شود و GA4 بیشتر برای تحلیل داده هایی استفاده شود که واقعاً جمع آوری شده اند.

آیا robots.txt جلوی تمام ربات های AI را می گیرد؟

خیر. robots.txt یک دستور سیاستی است و همه خزنده ها الزاماً آن را رعایت نمی کنند. برای Enforcement واقعی باید از کنترل های فنی مانند WAF یا سیستم های مدیریت Bot استفاده شود.

چطور بفهمیم User-Agent جعلی است؟

فقط با User-Agent نمی توان مطمئن شد. IP، محدوده های رسمی، Reverse DNS در صورت امکان، الگوی درخواست و رفتار خزنده را نیز بررسی کنید.

آیا باید همه AI Crawlerها را مسدود کنیم؟

نه. باید بر اساس کاربرد، ارزش SEO، هزینه زیرساخت و سیاست محتوایی سایت تصمیم بگیرید. بعضی خزنده ها ممکن است برای کشف محتوای شما مفید باشند و بعضی دیگر فقط منابع مصرف کنند.

اگر Bot در GA4 دیده نمی شود، آیا یعنی به سایت سر نزده است؟

خیر. ممکن است درخواست در Server Log ثبت شده باشد اما به دلیل اجرا نشدن JavaScript یا Analytics، هیچ Session یا Eventی در GA4 ایجاد نشده باشد.

برای تشخیص دقیق تر، GA4 بهتر است یا Server Log؟

هر دو کاربرد متفاوتی دارند. GA4 برای رفتار و تعاملات ثبت شده مناسب است؛ Server Log برای دیدن درخواست های HTTP و تشخیص خزنده ها و الگوهای Crawl منبع بسیار مهم تری است.