Actualizat: 14 martie 2026

Fișierul robots.txt îți spune ce zone din site pot fi accesate de crawlere și ce zone vrei să rămână în afara procesului de crawl. Îl folosești ca să controlezi mai bine cum este explorat site-ul tău, nu ca să ascunzi informații și nici ca să scoți pagini din index.

Dacă îl configurezi corect, îi ajuți pe roboți să ajungă mai repede la paginile care contează: produse, categorii, articole, landing page-uri. Dacă îl configurezi greșit, poți bloca exact paginile pe care vrei să le rankezi.

Ce este robots.txt

Robots.txt este un fișier text plasat în rădăcina domeniului tău, la o adresă de forma https://siteultau.ro/robots.txt. Când un crawler vizitează site-ul, de obicei verifică mai întâi acest fișier pentru a vedea ce reguli de acces ai setat.

Fișierul conține instrucțiuni simple, adresate unor roboți specifici sau tuturor roboților. Cu ajutorul lor poți bloca anumite foldere, URL-uri sau tipuri de fișiere și poți indica locația sitemap-ului XML.

Este important să separi două lucruri:

• robots.txt controlează crawl-ul
• indexarea se controlează prin alte metode, cum ar fi meta robots noindex sau headere HTTP potrivite

De ce contează robots.txt în SEO

Robots.txt nu îți crește pozițiile de unul singur, dar poate influența felul în care motoarele de căutare consumă resurse pe site-ul tău. Asta contează mai ales dacă ai multe pagini, filtre, parametri, căutare internă sau zone tehnice care nu aduc valoare în rezultate.

Cum te ajută în practică

• Controlezi crawl-ul pe pagini irelevante: poți limita accesul la zone precum coșul, checkout-ul, login-ul sau rezultatele căutării interne.
• Dirijezi atenția către paginile importante: dacă reduci zgomotul, crawlerii ajung mai ușor la paginile pe care vrei să le actualizeze și să le înțeleagă.
• Eviți crawl-ul inutil pe URL-uri generate automat: filtrele și parametrii pot produce multe combinații fără valoare SEO.
• Indici sitemap-ul: adaugi o cale directă către URL-urile importante de pe site.

Ce nu face robots.txt

• Nu protejează date sensibile: fișierul este public și poate fi accesat de oricine.
• Nu garantează eliminarea unei pagini din Google: o pagină blocată la crawl poate apărea în continuare dacă există linkuri către ea.
• Nu înlocuiește o strategie de indexare: pentru control real asupra indexării trebuie să folosești noindex acolo unde este cazul.

Cum funcționează directivele din robots.txt

Sintaxa este simplă, dar trebuie scrisă corect. O regulă greșită poate bloca zone întregi din site. În practică, cele mai folosite directive sunt acestea:

Exemplu simplu

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /checkout/

Sitemap: https://siteultau.ro/sitemap.xml

În exemplul de mai sus, blochezi zona de administrare și checkout-ul, dar lași acces la un fișier necesar pentru funcționarea unor elemente WordPress. În același timp, îi spui crawlerului unde găsește sitemap-ul.

Cum folosești corect robots.txt pe site-ul tău

Nu porni de la ideea că trebuie să blochezi cât mai mult. În majoritatea cazurilor, un fișier robots.txt bun este scurt, clar și are doar reguli utile. Dacă adaugi multe blocări fără o analiză reală, riști să afectezi indexarea și randarea paginilor.

Zone pe care merită să le verifici

• pagini de login
• coș și checkout
• căutare internă
• URL-uri cu parametri care generează combinații inutile
• foldere tehnice care nu au valoare SEO

Zone pe care să nu le blochezi fără motiv clar

• fișiere CSS
• fișiere JavaScript
• imagini importante pentru randarea paginii
• pagini canonice pe care vrei să le indexezi

Dacă blochezi resurse esențiale, motorul de căutare poate interpreta greșit layout-ul, conținutul sau funcționalitatea paginii. Asta afectează înțelegerea paginii și poate crea probleme în evaluarea experienței oferite utilizatorului.

Când merită să blochezi URL-uri cu filtre sau parametri

Dacă ai un magazin online, probabil ai multe URL-uri generate de filtre: mărime, culoare, preț, brand, sortare. Unele pot fi utile, dar multe produc pagini aproape identice sau combinații fără cerere reală în Google.

În astfel de cazuri, robots.txt te poate ajuta să limitezi crawl-ul pe variante care nu au valoare SEO. Totuși, înainte să blochezi ceva, verifică:

• dacă URL-urile respective sunt deja indexate
• dacă aduc trafic organic
• dacă răspund unei intenții de căutare reale
• dacă ai nevoie de ele pentru navigare sau campanii

Dacă o pagină filtrată are potențial SEO, nu o trata automat ca pe o pagină inutilă. În unele nișe, anumite combinații de filtre pot deveni pagini bune de categorie.

Cum folosești wildcard-urile

Pentru site-urile cu multe URL-uri dinamice, wildcard-urile te ajută să scrii reguli mai scurte. Cele mai folosite sunt:

• * pentru un șir variabil de caractere
• $ pentru finalul URL-ului

Exemple utile

Disallow: /search/

Blochează o secțiune de căutare internă dacă toate rezultatele sunt în acel folder.

Disallow: /*?sort=

Poate limita crawl-ul pe URL-uri cu parametru de sortare, dacă acesta produce multe variante fără valoare.

Disallow: /*.pdf$

Blochează fișierele PDF, dacă nu vrei să fie crawl-uite.

Folosește aceste reguli cu atenție. O expresie prea largă poate bloca mai mult decât intenționezi. Testează întotdeauna URL-uri reale înainte să publici modificările.

Care este relația dintre robots.txt, crawl și indexare

Aici apar cele mai multe confuzii. Dacă blochezi un URL în robots.txt, îi spui crawlerului să nu acceseze acel URL. Dar asta nu înseamnă automat că pagina nu mai poate apărea în rezultatele căutării.

Dacă există linkuri interne sau externe către acea pagină, motorul de căutare poate afla că pagina există. În unele cazuri, o poate afișa în rezultate fără să aibă acces complet la conținutul ei.

Dacă vrei ca o pagină să nu apară în Google, nu te baza doar pe robots.txt. Înainte de orice, verifică dacă pagina trebuie blocată la crawl sau exclusă din index. Sunt două lucruri diferite.

Greșeli frecvente care îți pot afecta vizibilitatea

Blochezi tot site-ul din greșeală

Regula Disallow: / oprește crawl-ul pe întreg domeniul pentru agentul vizat. Este una dintre cele mai costisitoare greșeli, mai ales când migrezi un site din staging în producție și uiți regula activă.

Folosești robots.txt ca metodă de securitate

Dacă ai directoare sensibile, nu le lista într-un fișier public sperând că astfel le protejezi. Robots.txt nu este o barieră de securitate. Pentru protecție reală folosește autentificare, restricții la nivel de server sau alte măsuri tehnice.

Blochezi CSS sau JavaScript

Dacă pagina ta depinde de resurse front-end pentru afișare și funcționalitate, nu bloca aceste fișiere fără un motiv solid. Motoarele de căutare trebuie să poată reda pagina cât mai aproape de varianta văzută de utilizator.

Blochezi pagini care trebuie să rankeze

Se întâmplă des pe site-uri refăcute sau pe magazine online. O categorie importantă, un articol sau o pagină de produs poate ajunge blocată printr-o regulă generică. Verifică întotdeauna paginile care aduc trafic și conversii.

Fișierul este prea mare sau prea dezordonat

Un fișier lung, plin de reguli adăugate în timp, devine greu de verificat. Dacă ai multe linii și excepții, curăță-l periodic și păstrează doar regulile care au logică SEO sau tehnică.

Cum verifici dacă fișierul este configurat corect

Primul pas este simplu: deschide în browser adresa domeniul-tau.ro/robots.txt. Fișierul trebuie să fie accesibil, să afișeze doar text simplu și să nu returneze erori.

Apoi verifică în Google Search Console dacă ai URL-uri importante raportate ca blocate de robots.txt. Uită-te mai ales la:

• categorii importante
• pagini de produs cu trafic
• articole care ar trebui indexate
• landing page-uri pentru campanii organice

Ce să verifici după fiecare modificare

• dacă pagina principală este accesibilă
• dacă sitemap-ul este declarat corect
• dacă regulile nu blochează secțiuni utile
• dacă resursele necesare randării rămân accesibile
• dacă URL-urile blocate chiar nu au valoare SEO

Dacă lucrezi pe un site mare, notează fiecare modificare și motivul ei. Așa poți înțelege mai ușor de ce a apărut o problemă de crawl sau indexare după un deploy.

Exemple practice pentru tipuri diferite de site

Blog de prezentare

Pe un blog simplu, de obicei ai nevoie de foarte puține reguli. Poți bloca doar zona de administrare și să lași restul site-ului accesibil.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://siteultau.ro/sitemap.xml

Magazin online

La un magazin online trebuie să analizezi atent filtrele, căutarea internă și paginile tranzacționale. Aici robots.txt poate avea un impact real asupra modului în care este consumat crawl-ul.

User-agent: *

Disallow: /cart/

Disallow: /checkout/

Disallow: /search/

Sitemap: https://siteultau.ro/sitemap.xml

Acesta este doar un model de bază. Nu copia reguli pentru parametri sau filtre fără să verifici cum funcționează URL-urile pe site-ul tău.

Mediu de test sau staging

Dacă ai un staging public, nu te baza doar pe robots.txt. Cea mai sigură variantă este să pui acel mediu în spatele unei parole. Asta reduce riscul de indexare accidentală și de duplicare a conținutului.

Cum se leagă robots.txt de SEO actual

În SEO-ul actual contează mai puțin să adaugi reguli multe și mai mult să ai o structură clară, URL-uri curate și pagini utile. Robots.txt este doar o piesă din ansamblu. Funcționează bine când îl folosești împreună cu o arhitectură logică, linkuri interne bune, sitemap XML curat și reguli clare de indexare.

Dacă vrei rezultate stabile, nu trata fișierul robots.txt ca pe o soluție universală. Analizează ce pagini vrei să fie descoperite, ce pagini vrei să fie ignorate și cum se mișcă utilizatorii și crawlerii prin site-ul tău.

Întrebări frecvente

Unde trebuie să pui fișierul robots.txt?

Pune fișierul în rădăcina domeniului, astfel încât să fie accesibil la adresa https://siteultau.ro/robots.txt. Dacă îl urci într-un subfolder, crawlerii nu îl vor folosi ca fișier principal de reguli pentru domeniu.

După publicare, verifică direct în browser că se încarcă corect și că nu este redirecționat sau servit cu erori.

Dacă blochezi o pagină în robots.txt, ea dispare din Google?

Nu neapărat. Robots.txt blochează accesul crawlerului, dar nu garantează eliminarea URL-ului din index. Dacă pagina este cunoscută prin linkuri interne sau externe, poate apărea în continuare în rezultate.

Dacă vrei să scoți o pagină din index, folosește o metodă dedicată pentru indexare, cum ar fi noindex, și asigură-te că motorul de căutare poate vedea această instrucțiune.

Este bine să blochezi filtrele unui magazin online?

Depinde de cum sunt construite și de ce cerere există în căutare. Unele filtre produc doar URL-uri fără valoare, iar acolo blocarea poate avea sens. Alte filtre pot corespunde unor căutări reale și pot deveni pagini utile.

Înainte să blochezi, verifică în Search Console și în platforma de analytics dacă acele URL-uri sunt indexate, primesc impresii sau trafic și au potențial comercial.

Poți folosi robots.txt ca metodă de protecție pentru pagini private?

Nu. Fișierul este public și nu împiedică accesul real la conținut. El doar transmite instrucțiuni crawlerilor care aleg să le respecte.

Pentru pagini private sau sensibile, folosește autentificare, restricții la nivel de server și reguli de securitate reale. Robots.txt nu este o soluție de protecție a datelor.