Weekendul trecut, mai multe conversații partajate din Claude, asistentul AI dezvoltat de Anthropic, au apărut în rezultatele Google. Nu erau conversații private accesate fără permisiune. Erau linkuri de tip „share” create voluntar de utilizatori. Dar proprietarii lor nu se așteptau să le găsească indexate.
Reacția imediată a multora a fost „bug”. Reacția corectă e alta: o confuzie tehnică pe care o întâlnim frecvent în auditurile SEO de la difrnt. Diferența dintre robots.txt Disallow și noindex pare un detaliu de configurare. În realitate, e diferența dintre o pagină vizibilă și una invizibilă în Google.
Am întâlnit aceeași configurare greșită la site-uri din România cu trafic organic semnificativ, fără ca echipele de marketing să realizeze implicațiile. Dacă te bazezi pe robots.txt ca să ascunzi pagini din rezultatele de căutare, sunt șanse mari să ai aceeași problemă fără să știi.
Ce s-a întâmplat cu chaturile Claude
Un articol publicat pe Search Engine Journal pe 28 iulie a documentat situația tehnic. Paginile de tip /share/ de pe claude.ai aveau două directive simultane și contradictorii.
Prima: un fișier robots.txt care bloca accesul tuturor crawlerilor la calea /share/*. A doua: un header HTTP X-Robots-Tag: none, echivalentul unui noindex trimis la nivel de server.
Conflictul e simplu: Google nu poate citi headerul noindex dacă robots.txt îi interzice să acceseze pagina. E ca și cum ai lipi o notă pe ușă care spune „nu include această cameră în planul clădirii”, dar ai încuiat ușa înainte ca cineva să treacă pe acolo. Nota există. Nimeni nu o vede.
Consultantul IT Daniel J. Glover a confirmat independent același conflict pe 26 iulie. Ned Adriance, purtătorul de cuvânt al Google, a subliniat că motoarele de căutare urmează controalele proprietarilor de site-uri, dar nu decid ce pagini devin publice. Responsabilitatea configurării corecte rămâne a proprietarului.
Ce face situația și mai interesantă: calea /public/artifacts/ de pe claude.ai nu era inclusă în robots.txt, creând un scenariu de indexare complet diferit pentru conținut similar. Două căi pe același domeniu, două configurări diferite, două rezultate opuse în Google.
Disallow nu e noindex: două instrumente, două efecte
Robots.txt Disallow spune crawlerului: „Nu accesa această cale.” Crawlerul se conformează și nu vizitează pagina. Nu o citește, nu îi procesează conținutul, nu îi vede headerele HTTP. E o directivă de acces, nu de indexare.
Noindex (fie ca meta tag în HTML, fie ca header X-Robots-Tag) spune crawlerului: „Poți veni, poți citi pagina, dar nu o afișa în rezultatele de căutare.” Pentru ca instrucțiunea să funcționeze, crawlerul trebuie să ajungă efectiv la pagină și să proceseze conținutul ei.
Dacă le combini, Disallow câștigă de fiecare dată. Crawlerul nu ajunge la pagină și nu vede noindex-ul. Pagina poate apărea în index dacă Google descoperă URL-ul din alte surse: un sitemap vechi, un link extern, un share pe rețele sociale sau chiar o mențiune într-un document public. Google afișează URL-ul cu un mesaj de tip „Nu sunt disponibile informații pentru această pagină”, dar URL-ul rămâne vizibil.
Nu e prima dată când se întâmplă. OpenAI a avut o situație similară cu transcrierile ChatGPT, iar Google cu conversațiile din Bard. Problema nu e specifică unei platforme. E un pattern pe care îl repetă toți cei care confundă blocarea accesului cu blocarea vizibilității.
Situația devine și mai relevantă acum, când pregătirea site-urilor pentru crawlerii AI e o prioritate. Dacă fișierul llms.txt sau structura de navigare a site-ului tău e gândită pentru accesibilitate AI, dar robots.txt blochează exact acele căi, tot efortul de optimizare e irosit.
Trei verificări pe care echipa ta le poate face azi
La difrnt. am documentat anterior cum crawlerii AI au depășit deja Googlebot ca volum de requesturi. Contextul de acum e diferit, dar principiul rămâne: dacă nu controlezi activ cum interacționează crawlerii cu site-ul tău, vei avea surprize.
1. Verifică ce pagini blochezi cu robots.txt. Deschide Google Search Console și folosește URL Inspection pe paginile pe care le vrei excluse din index. Dacă vezi „Blocked by robots.txt” dar pagina apare totuși în rezultate, ai exact problema descrisă aici. E un semn clar că trebuie să schimbi strategia de indexare pentru acele URL-uri.
2. Asigură-te că noindex e accesibil crawlerului. Paginile care nu trebuie indexate (mediul de staging, drafturi publice, pagini interne, secțiuni de test) au nevoie de noindex fără blocaj robots.txt. Dacă blochezi calea cu Disallow și adaugi noindex, cel din urmă devine invizibil pentru Google. Poți verifica cu un simplu curl -I pe URL-ul respectiv: dacă vezi X-Robots-Tag: noindex în răspuns, directiva există. Dar dacă robots.txt blochează calea, Google nu va face niciodată acel request.
3. Nu te baza pe robots.txt pentru confidențialitate. Fișierul robots.txt e public. Oricine poate citi ce căi ai blocat și, ironic, exact asta poate atrage atenția asupra lor. Pentru conținut cu adevărat sensibil, folosește autentificare sau restricții la nivel de server, nu instrucțiuni de crawl.
Regula care previne surprizele
Dacă vrei ca o pagină să nu apară în Google, folosește noindex și nu o bloca cu robots.txt. Lasă crawlerul să ajungă la pagină, să citească instrucțiunea și să o respecte. E contra-intuitiv, dar funcționează tocmai pentru că dai acces la informația pe care vrei să o comunici: „nu mă indexa.”
Dacă vrei să economisești crawl budget pentru URL-uri irelevante (filtre de produse, paginări, parametri de sortare), Disallow rămâne instrumentul corect. Dar nu te aștepta ca acele URL-uri să dispară automat din index dacă Google le cunoaște deja din alte surse.
Combinația robots.txt Disallow + noindex nu e un strat dublu de protecție. E o instrucțiune care se anulează pe ea însăși. Am întâlnit asta în audituri la companii care încercau să controleze accesul boților AI la conținut și se trezeau cu pagini pe care le credeau ascunse apărând în răspunsurile ChatGPT sau Perplexity.
Lecția din incidentul Claude e clară: instrumentele tehnice funcționează exact așa cum sunt documentate. Problema apare când presupunem că fac mai mult decât promit. Robots.txt nu promite invizibilitate. Promite doar că crawlerul nu va veni. Ce face restul internetului cu URL-ul tău e altă discuție. Și dacă acel URL circulă pe rețele sociale, apare într-un backlink sau e menționat într-un sitemap uitat, Google îl va găsi oricum.
