Dacă ai un site, ai și vizitatori pe care nu i-ai invitat. Boții AI cresc cu peste 300% de la an la an, iar conform datelor TollBit, la finalul lui 2025 aproximativ 1 din 31 de vizite pe web venea de la un bot AI. Problema? Majoritatea nu-ți aduc absolut nimic înapoi.

Nu vorbim despre Googlebot, care cel puțin te indexează și te face vizibil în search. Vorbim despre crawlere de la OpenAI, Meta, Anthropic și alte zeci de companii care îți parcurg site-ul pentru a-și antrena modelele lingvistice. Un raport publicat recent pe Search Engine Journal, bazat pe date de la Kinsta și Cloudflare, arată că 80% din activitatea de crawling AI este dedicată antrenamentului de model. Nu vizibilității tale. Antrenamentului lor.

Și tu plătești factura.

Nu e vorba de scraping. E vorba de factură.

Discuția despre boții AI s-a concentrat mult pe proprietatea intelectuală, pe faptul că modelele AI preiau conținut fără atribuire. E o preocupare legitimă, dar ratează un aspect mai presant și mai imediat: costul operațional. Fiecare request pe care un crawler îl face pe site-ul tău consumă resurse. Iar nu toate request-urile sunt egale.

Un crawler care ajunge pe paginile de cart, checkout sau căutare internă nu face un simplu request pe o pagină statică. Acele pagini ocolesc cache-ul, declanșează execuție PHP, query-uri în baza de date, gestionare de sesiuni și alocări de memorie. Serverul tău face muncă reală pentru un vizitator care nu va cumpăra niciodată nimic. Pe un site e-commerce cu zeci de mii de produse, un singur crawler care parcurge catalogul complet poate genera sute de mii de request-uri pe zi.

David Belson de la Cloudflare descrie situația direct: „Sunt oameni care ieri nu știau ce fac, dar azi au generat un bot prin vibe coding și l-au dat drumul. Nici nu verifică robots.txt." Ceea ce face problema și mai dificilă e că nu toți boții se identifică onest. Unii folosesc user-agent-uri generice sau le schimbă constant, ceea ce face detectarea mai greu de automatizat.

Am scris recent despre cum crawlerul ChatGPT a depășit Googlebot ca volum pe unele site-uri. Tendința accelerează. Iar costurile de hosting și CDN se reflectă direct în bugetul operațional, chiar dacă nimeni nu le alocă explicit „traficului parazit".

Capcana: blochezi și dispari, sau plătești și taci?

Dacă soluția ar fi simplă, am bloca toți boții și gata. Dar nu e. Unele crawlere contribuie la vizibilitatea ta în AI Search. Altele pot genera citări ale conținutului tău în răspunsuri ChatGPT, Perplexity sau Google AI Overviews. Blochezi totul și riști să devii invizibil exact acolo unde potențialii clienți caută informații.

Această tensiune e reală și nu are o soluție universală. Un blog care depinde de trafic organic are un calcul diferit față de un SaaS care vinde prin demo-uri. Un magazin online cu mii de SKU-uri e într-o situație diferită față de un site de servicii cu 20 de pagini.

Întrebarea corectă nu e „blochez sau nu?". E „care boți, pe care secțiuni ale site-ului, în ce condiții?". O decizie de business, nu una pur tehnică.

Practic, asta înseamnă un tratament diferențiat:

Googlebot și Bingbot primesc acces complet. Indexare, vizibilitate directă în search.
Crawlerele AI care pot contribui la citări (GPTBot, ClaudeBot) primesc acces pe conținut editorial, dar nu pe pagini de checkout sau căutare internă.
Crawlerele necunoscute sau agresive se blochează fără ezitare.

Abordarea selectivă presupune monitorizare activă. Dacă nu știi cine îți vizitează site-ul, nu poți lua decizii informate. GA4 a început să identifice traficul AI separat, ceea ce ajută. Dar instrumentele de server-side (Cloudflare, loguri de acces) rămân indispensabile pentru imaginea completă.

Metricile tale mint. Parțial.

Un efect secundar pe care mulți îl ignoră: dacă 1 din 31 de vizite e un bot, cifrele tale de trafic sunt umflate. Nu dramatic, dar suficient cât să distorsioneze decizii. Kinsta argumentează în raport că semnalele cu adevărat relevante sunt cele ancorate în rezultate de business: branded search, trafic direct, calitatea engagement-ului și venituri.

Când raportezi unui client că site-ul a avut +15% vizite luna asta, o parte din creșterea aia poate fi pur și simplu mai mulți boți care au descoperit site-ul. Nu mai putem lua volumul de trafic ca proxy direct pentru interesul real al pieței. E un punct sensibil în industrie, unde tentația de a raporta metrici gonfiate a existat dintotdeauna. Diferența e că acum nu e vorba de intenție, ci de contaminare pasivă a datelor.

Am discutat despre o dinamică similară în articolul despre opt-out-ul din AI Search: avem opțiuni tehnice, dar nu avem datele complete pentru decizii bune. Cu boții de crawling e la fel. Instrumentele există, dar majoritatea business-urilor nu le folosesc activ.

Ce poți face practic, de mâine

Dacă ai un site cu trafic decent (peste 10.000 vizite/lună), câteva ore investite în bot management pot face o diferență reală. Nu e nevoie de un proiect mare. Sunt pași pe care echipa ta tehnică îi poate implementa într-o zi.

Auditează traficul automatizat. Verifică logurile de server sau dashboard-ul Cloudflare. Identifică ce boți accesează site-ul, cât de des și, mai important, ce pagini vizitează. Caută pattern-uri: boți care se întorc pe aceleași pagini de sute de ori pe zi sau care accesează URL-uri cu parametri de filtrare sunt un semnal clar de consum inutil.

Protejează zonele costisitoare. Folosește robots.txt sau reguli Cloudflare pentru a restricționa accesul boților pe pagini de cart, checkout, căutare internă și filtre de produse cu parametri multipli. Aceste URL-uri consumă cele mai multe resurse de server. Protejarea lor nu afectează indexarea conținutului tău relevant.

Diferențiază între crawlere. Googlebot aduce vizibilitate directă. GPTBot poate contribui la citări în ChatGPT. Meta-ExternalAgent face antrenament de model fără beneficiu direct pentru tine. Fiecare merită o decizie separată, bazată pe valoarea pe care o returnează. Răspunsul nu trebuie să fie binar.

Recalibrează raportarea. Dacă prezinți date de trafic către stakeholderi, asigură-te că metricile reflectă comportament uman. Conversii, engagement calitativ și trafic direct spun o poveste mai onestă decât volumul brut de sesiuni. Adaugă un filtru de bot traffic în rapoartele GA4 și compară diferențele. S-ar putea să te surprindă.

Boții AI nu vor dispărea. Volumul lor va continua să crească pe măsură ce tot mai multe companii antrenează și operează modele AI. Întrebarea nu e dacă merită să te ocupi de asta, ci cât de repede. Fiecare lună în care ignori problema e o lună în care plătești resurse pentru vizitatori care nu vor deveni niciodată clienți.