Robots.txt e un fișier text de la rădăcina site-ului (domeniu.ro/robots.txt) care le spune roboților de căutare ce secțiuni să nu acceseze. Nu scoate pagini din Google și nu protejează nimic: doar cere roboților să nu descarce anumite URL-uri. Folosit corect, economisește resursele de crawling pentru paginile importante. Folosit greșit, poate opri complet indexarea site-ului cu o singură linie.

Poți verifica imediat ce conține fișierul tău cu unealta noastră Verifică robots.txt.

Ce face și ce nu face robots.txt

Face:
– oprește crawlingul pentru căile pe care le blochezi (pentru roboții care respectă standardul, cum sunt Googlebot și Bingbot);
– indică locația sitemap-ului XML;
– poate da reguli diferite pentru roboți diferiți.

Nu face:
– nu scoate o pagină din index. O pagină blocată în robots.txt poate apărea totuși în Google, fără descriere, dacă alte pagini trimit linkuri spre ea. Pentru a scoate o pagină din index folosești tag-ul noindex, iar pagina trebuie să nu fie blocată, ca Google să poată citi tag-ul;
– nu e o măsură de securitate. Fișierul e public. Oricine poate vedea ce căi „ascunzi”. Datele sensibile se protejează cu parolă, nu cu robots.txt;
– nu obligă pe nimeni. Roboții rău intenționați îl ignoră.

Google nu mai acceptă din 2019 directiva noindex scrisă în robots.txt. Dacă o ai, nu are efect.

Sintaxa pe care o înțelege Google

Un fișier e format din grupuri. Fiecare grup începe cu User-agent și conține reguli Disallow și Allow:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://domeniu.ro/sitemap.xml

• User-agent spune cui se adresează grupul. * înseamnă toți roboții. Googlebot urmează grupul cel mai specific care îl numește.
• Disallow blochează calea și tot ce începe cu ea. Disallow: / blochează tot site-ul.
• Allow face o excepție într-o cale blocată.
• Sitemap dă adresa completă a sitemap-ului. Poate fi oriunde în fișier.
• * în cale înseamnă „orice șir de caractere”, iar $ înseamnă „sfârșitul URL-ului”. Exemplu: Disallow: /*.pdf$ blochează toate fișierele PDF.

Reguli de reținut:
– căile sunt sensibile la majuscule: /Blog/ și /blog/ sunt diferite;
– când o regulă Allow și una Disallow se potrivesc amândouă, Google o aplică pe cea mai lungă (cea mai specifică);
– Google ignoră Crawl-delay;
– Google citește doar primii 500 KiB ai fișierului;
– fișierul trebuie să fie exact la rădăcina domeniului. Fiecare subdomeniu are nevoie de propriul fișier.

Ce merită blocat

Pe un site obișnuit (prezentare, blog, magazin mic) lista e scurtă:

• zona de administrare (/wp-admin/ pe WordPress, cu excepția admin-ajax.php);
• rezultatele căutării interne (/?s=, /cautare/): generează un număr nelimitat de pagini fără valoare;
• URL-urile de coș, checkout și cont pe magazine;
• combinațiile de filtre și sortări pe magazine mari, dacă produc mii de URL-uri cu același conținut (aici decizia se ia împreună cu canonical și linkurile interne, nu doar din robots.txt);
• mediile de test sau staging, dacă sunt publice (mai sigur: parolă).

Pe un site cu câteva sute de pagini, robots.txt contează puțin pentru „bugetul de crawling”. Contează mult pe site-uri cu zeci de mii de URL-uri.

Ce nu blochezi niciodată

• Fișierele CSS și JavaScript necesare paginii. Google randează pagina ca un browser. Dacă nu poate descărca stilurile și scripturile, vede o pagină stricată și o poate evalua greșit, mai ales pe mobil. Excepție: scripturile care nu schimbă conținutul vizibil (de exemplu unele scripturi de analiză) pot fi blocate fără efect asupra randării.
• Paginile pe care vrei să le scoți din Google. Blocate, Google nu mai vede noindex-ul de pe ele.
• Paginile cu redirecturi pe care vrei să le transfere Google. Dacă blochezi URL-ul vechi, Google nu mai vede redirectul.
• Imaginile pe care vrei să apară în Google Imagini.
• Tot site-ul, după lansare. Disallow: / lăsat din faza de dezvoltare e una dintre cele mai frecvente cauze de „site-ul nu apare deloc în Google” pe care le găsim. Pe WordPress, aceeași problemă vine și din bifa „Descurajează motoarele de căutare”; am descris-o în cele 8 probleme tehnice comune pe WordPress.

Robots.txt și roboții AI

Robots.txt e și locul în care decizi dacă modelele AI pot folosi conținutul site-ului. Câteva repere:

• Google-Extended e tokenul prin care îi spui lui Google că nu vrei ca site-ul să fie folosit pentru antrenarea și îmbunătățirea modelelor Gemini. Nu afectează crawlingul pentru Google Search și nu afectează pozițiile;
• GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot și alții au propriile nume de user-agent, pe care le poți bloca separat;
• pe 30 octombrie 2026 Google a anunțat că va susține un control comun pentru antrenarea AI în robots.txt, bazat pe lucrul grupului IETF AIPREF. Detaliile de implementare urmează.

Blocarea roboților AI e o decizie de business, nu una tehnică. Dacă îi blochezi pe toți, reduci și șansele ca brandul să apară în răspunsurile asistenților AI. Am scris despre ce înseamnă vizibilitatea în AI în articolul cum implementezi strategii de GEO.

Cum testezi fișierul

1. Deschide-l în browser: domeniu.ro/robots.txt. Trebuie să răspundă cu cod 200 și să fie text simplu.
2. Verifică-l cu unealta noastră ca să vezi regulile citite și eventualele erori de sintaxă.
3. În Google Search Console, raportul robots.txt (în Setări) arată ce versiune a descărcat Google ultima dată, când și dacă a găsit erori. Poți cere o nouă citire după o modificare.
4. Inspecția URL-urilor îți spune dacă o anumită pagină e blocată de robots.txt.

Ce se întâmplă când fișierul dă eroare

• 404 sau altă eroare 4xx: Google consideră că nu ai restricții și accesează tot.
• Eroare de server (5xx) sau server indisponibil: Google poate opri temporar crawlingul întregului site, ca măsură de precauție. O eroare 5xx persistentă la robots.txt poate face mai mult rău decât lipsa fișierului.

Exemplu de robots.txt pentru un site WordPress simplu

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://domeniu.ro/sitemap_index.xml

E un punct de plecare, nu o rețetă. Magazinele online, site-urile multilingve sau cele cu multe filtre au nevoie de reguli construite pe structura lor.

Întrebări frecvente

Am nevoie obligatoriu de robots.txt?

Nu. Fără fișier, Google accesează tot site-ul. Îl recomandăm totuși, măcar pentru indicarea sitemap-ului și blocarea căutării interne.

Cât durează până Google vede modificările?

Google păstrează de obicei în cache versiunea descărcată până la 24 de ore. Poți grăbi recitirea din raportul robots.txt din Search Console.

Am blocat o pagină și tot apare în Google. De ce?

Pentru că robots.txt oprește doar descărcarea. Dacă pagina are linkuri externe, Google o poate păstra în index fără să-i știe conținutul. Deblochează pagina, adaugă noindex și așteaptă ca Google să o recitească.

Blocarea roboților AI îmi afectează pozițiile în Google?

Blocarea Google-Extended nu afectează Google Search. Blocarea lui Googlebot, da: el e robotul care indexează site-ul pentru căutare.

Robots.txt e doar unul dintre fișierele pe care le verificăm într-un audit tehnic. Dacă nu ești sigur ce blochează site-ul tău, rulează auditul SEO gratuit sau cere o ofertă pentru optimizare SEO și verificăm împreună configurația. Pentru context, vezi și cum funcționează Google: crawling, indexare și ranking și ghidul despre sitemap-ul XML.