Ai o listă de boți AI pe care îi blochezi prin robots.txt. O actualizezi din când în când. Poate ai adăugat GPTBot luna trecută, ClaudeBot acum două luni. Te simți în control.
Nu ești. Lista aia nu e o strategie. E un reflex defensiv, scris în grabă, fără să te gândești la consecințe. Iar consecințele variază enorm în funcție de ce bot blochezi și de ce face acel bot cu conținutul tău.
La difrnt., gestionăm infrastructura de SEO pentru clienți cu trafic serios. Am trecut de faza "blochează tot ce sună a AI" acum un an. Iată ce am învățat de atunci.
Nu toți boții AI vor același lucru
Tratăm toți boții AI ca pe o singură amenințare. Dar între un crawler de training și un agent autonom e aceeași diferență ca între un fotograf de stradă și un client care intră în magazin.
Un crawler de training (GPTBot, CCBot, Bytespider) indexează conținut în masă ca să antreneze modele de limbaj. Odată ce datele tale au intrat în setul de training, ai pierdut controlul. Nu primești nimic înapoi. Decizia de a-l bloca e relativ simplă.
Un bot de retrieval (ChatGPT-User, PerplexityBot, Google-Extended pentru AI Overviews) face ceva complet diferit: caută conținut în timp real ca să construiască răspunsuri pentru utilizatori. Dacă îl blochezi, dispari din acele răspunsuri. Nu mâine. Imediat. Studii Semrush din 2026 arată că site-urile care blochează retrieval bots pierd în medie 12% din vizibilitatea în rezultatele augmentate de AI.
Apoi sunt agenții AI. Aceștia navighează site-ul tău ca un utilizator uman: compară produse, verifică prețuri, citesc specificații. Cloudflare raportează că traficul de la agenți AI a crescut cu peste 300% în ultimele 12 luni. Nu îi poți bloca ușor fără să blochezi și utilizatori reali.
Un articol recent pe Search Engine Journal articulează exact această problemă: echipele de SEO au nevoie de politici de boți, nu de liste. Și din experiență, pot confirma: e o schimbare pe care mulți o amână, dar pe care nimeni nu și-o permite să o ignore.
Robots.txt nu decide nimic. CDN-ul decide.
Robots.txt e un protocol voluntar. Punct. Un bot care vrea să respecte regulile o face. Unul care nu vrea, nu. Nu există niciun mecanism de enforcement la acest nivel.
Deciziile reale de acces se iau la nivel de CDN, firewall sau serviciu de bot management: Cloudflare, Akamai, Fastly. Aici apare o problemă pe care o vedem la aproape fiecare client enterprise: echipa de SEO actualizează robots.txt, dar echipa de development configurează CDN-ul separat. Cele două nu comunică.
Rezultatul e previzibil: reguli contradictorii. Blochezi GPTBot în robots.txt, dar Cloudflare îl lasă să treacă. Sau invers: lași un retrieval bot în robots.txt, dar WAF-ul îl clasifică drept amenințare și îl respinge. Am avut un client care pierdea vizibilitate AI de trei luni fără să știe. Cauza? O regulă de firewall care bloca PerplexityBot ca "suspicious automated traffic".
Am scris anterior despre limitele robots.txt în era AI. Concluzia de atunci rămâne: robots.txt e un semnal de intenție, nu un mecanism de control. Iar semnalele fără implementare reală sunt doar dorințe.
Agenții AI sunt vizitatorii pe care nu-i poți ignora
Agenții AI reprezintă categoria cea mai complicată și cea care crește cel mai repede. Se comportă ca utilizatorii umani: au sesiuni, navighează între pagini, interacționează cu elemente din interfață. Unii chiar completează formulare.
Gartner estimează că până în 2028, 25% din căutările web vor fi inițiate de agenți AI, nu de oameni. Dacă blochezi agentul care face product research pentru un utilizator, produsul tău dispare din recomandarea finală. Nu e un risc teoretic. E un client pe care nu îl vei cunoaște niciodată.
Complicația suplimentară: agenții AI apar în analytics ca trafic normal. User agent-ul lor seamănă cu al unui browser standard. Sunt greu de distins fără soluții avansate de fingerprinting sau fără a analiza tiparele de navigare. Am detaliat cum agenții AI schimbă regulile search-ului într-un articol anterior, și de atunci situația s-a complicat suplimentar.
Ce facem noi? Nu încercăm să-i blocăm. Încercăm să înțelegem ce fac pe site. Un agent care face price comparison pentru un utilizator e, de fapt, un lead calificat cu intenție de cumpărare. Blochează-l, și pierzi exact tipul de vizitator pe care îl cauți.
De la liste la politici: cum funcționează în practică
Am înlocuit block list-ul cu un framework de decizii pe care îl aplicăm la fiecare client. Nu e spectaculos, dar funcționează. Iată pașii.
Clasifică boții pe categorii. Training crawlers, retrieval bots, AI agents, SEO crawlers tradiționali. Fiecare categorie primește o politică separată. Nu un singur "allow" sau "disallow".
Evaluează impactul blocării. Pentru fiecare categorie, răspunde concret: "Dacă blocăm acest bot, ce pierdem?" Dacă răspunsul include "vizibilitate în AI Search" sau "prezență în recomandări AI", acea bloccare necesită aprobare explicită, nu doar o linie în robots.txt.
Aliniază echipele. SEO, development, securitate și legal trebuie să vadă aceeași politică și să înțeleagă de ce. Am avut situații în care echipa de securitate a blocat un retrieval bot fără să știe impactul SEO. O ședință trimestrială previne aceste incidente.
Revizuiește la fiecare trimestru. Peisajul se schimbă rapid. Boți noi apar lunar. O politică scrisă acum șase luni e aproape sigur depășită. Am detaliat anterior costul real al traficului de la boții AI pe servere, și una din concluzii e că deciziile trebuie revizitate frecvent.
Documentează totul. Fiecare decizie de blocare sau permitere, cu justificarea ei. Când un bot nou apare, ai un cadru decizional gata construit. Nu mai improvizezi sub presiune.
Ce contează cu adevărat
Blocarea boților AI nu e nici bună, nici rea. E o decizie de business care trebuie luată cu date și context, nu din panică sau din inerție. Lista de blocare pe care o ai acum probabil conține și decizii corecte, și greșeli costisitoare. Problema e că nu știi care sunt care.
Întrebarea nu e "pe cine blochez?". E "ce pierd dacă blochez?" Și dacă nu poți răspunde la această întrebare pentru fiecare bot din lista ta, ai nevoie de un proces, nu de o listă mai lungă. Începe cu clasificarea. Continuă cu evaluarea impactului. Și nu uita să întrebi echipele care chiar implementează regulile dacă știu ce și de ce blochează.
