Creare un file robots.txt per WordPress è estremamente importante per garantire una corretta indicizzazione di un Blog e per prevenire possibili penalizzazioni da parte dei Motori di Ricerca, a causa della presenza di Contenuti Duplicati.
Vedremo come con poche istruzioni, sia possibile definire ed ottimizzare un file robots.txt in grado di soddisfare entrambe queste esigenze.
Definiamo innanzitutto quali Robots dovranno seguire le regole impostate, utilizzando l’asterisco per identificarli tutti:
User-agent: *
Iniziamo con il bloccare l’indicizzazione dei File e delle Directory proprie di WordPress:
Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/
Per permettere l’indicizzazione della Directory in cui verranno caricati tutti i file associati ai Post (immagini, PDF, file di testo), inseriamo la seguente istruzione:
Allow: /wp-content/uploads/
Impostiamo adesso alcune regole fondamentali per evitare l’indicizzazione di Contenuti Duplicati che, se venissero indicizzati, rischierebbero di far penalizzare l’intero Blog dai Motori di Ricerca.
Prima di tutto, blocchiamo gli elementi che rischiano di generare diversi URL per ogni singolo Post:
Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/
Blocchiamo poi l’indicizzazione degli URL contenenti querystring, come ad esempio: gli URL dei risultati delle Ricerche di WordPress http://www.wmlab.it/?s=keyword oppure eventuali URL seguiti da parametri di Tracking.
ATTENZIONE Queste regole possono essere impostate solo se per i Post si utilizzano Permalink con Pretty Url, con URL del tipo www.wmlab.it/2009/11/10/nome-post/ molto più usabili e Search Engine Friendly. Nel caso (molto sconsigliato) in cui si utilizzasse invece l’impostazione predefinita di WordPress, con URL del tipo: www.wmlab.it/?p=123 queste regole bloccherebbero l’indicizzazione di tutti i post!
Disallow: /*?* Disallow: /*?
Passiamo ora ad un paio di regole un po’ più delicate, che hanno l’obiettivo di evitare l’indicizzazione di Contenuti Duplicati escludendo le pagine dedicate ai Tag e alle Categorie. Vediamo innanzitutto perchè queste pagine potrebbero essere a rischio penalizzazione.
Durante il Corso SEO Web Marketing Experience di Enrico Madrigrano, si è discusso del problema legato all’eccesso di pagine Tag (Tag Excess). L’utilizzo di svariati Tag, associati ai singoli Post, determina infatti la creazione di altrettante pagine con contenuti molto simili tra loro. E’ stato riscontrato che l’eccessiva presenza di queste pagine, tale da superare il 15-20% del numero complessivo di pagine del Blog, può portare ad una penalizzazione da parte dei Motori di Ricerca.
Discorso analogo vale anche per le pagine delle Categorie, nel caso in cui si inserisca spesso un singolo post in più Categorie.
Prima di bloccare a priori l’indicizzazione di queste pagine, è però necessario fare alcune distinzioni:
- nel caso in cui vengano spesso associati numerosi Tag ad un articolo, e quest’ultimo venga spesso inserito in più categorie, la possibilità di incorrere nella penalizzazione sopracitata è piuttosto elevata. Vale quindi la pena bloccare l’indicizzazione delle pagine Tag e Categorie, con le due istruzioni riportate di seguito.
- nel caso in cui si faccia invece un uso più moderato dei Tag, ed ogni articolo venga inserito nella sola categoria di maggior pertinenza, il rischio di incorrere nella penalizzazione è molto basso. Conviene quindi lasciare che le pagine Tag e Categorie vengano indicizzate visto che, non presentando contenuti troppo simili tra loro, potranno anche posizionarsi adeguatamente nei Motori.
- nel caso infine in cui il Blog sia relativamente giovane, sarà molto probabile che il numero di pagine Tag superi inizialmente quello delle pagine dei post, aumentando così il rischio di penalizzazione. Per prevenzione, conviene bloccare l’indicizzazione delle pagine Tag, almeno finchè il numero di post non inizi ad aumentare col tempo.
La soluzione ottimale a questo problema, non è però implementabile agendo sul robots.txt. Come suggerisce giustamente Giacomo Pelagatti nei commenti, in particolare per Blog con una certa anzianità, è più indicato l’utilizzo del <meta name=”robots” content=”noindex,follow” /> nelle pagine in questione. Questo tag infatti impedisce l’indicizzazione di pagine con contenuti potenzialmente duplicati, ma permette di preservare al contempo il flusso di Link Juice proveniente da quelle pagine.
Tale soluzione è facilmente attuabile attraverso l’ottimo plugin All In One SEO Pack.
Disallow: /tag/ Disallow: /category/
Con l’ultima istruzione, segnaliamo infine ai Robots la presenza del file Sitemap.xml
Sitemap: http://www.nomedominio.com/sitemap.xml
Una volta impostato il file Robots, sarà sufficiente salvarlo come “robots.txt” e caricarlo nella Root del Blog, oppure in alternativa, utilizzare un apposito Plugin che consente la completa gestione del file direttamente dal pannello delle impostazioni di WordPress.
Ecco un esempio riassuntivo del file robots.txt per WordPress, pronto per essere personalizzato ed utilizzato:
User-agent: * Disallow: /wp- Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Allow: /wp-content/uploads/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /*?* Disallow: /*? Disallow: /tag/ Disallow: /category/ Sitemap: http://www.nomedominio.com/sitemap.xml
grande Mattia,
post davvero utile.
12/11/09 10:00 - Link
Grazie Leo
12/11/09 10:01 - Link
Bel post, complimenti!
12/11/09 12:04 - Link
Grazie Gigi
12/11/09 13:02 - Link
Ciao Mattia,
Il file robots.txt è uno strumento che -come tutti- andrebbe utilizzato quando non esistono alternative migliori dal punto di vista SEO, o quando le alternative non sono praticabili a causa di limitazioni tecniche. In realtà esistono una serie di strumenti che in alcuni casi è consigliabile usare in sostituzione del “Disallow” nel file robots.txt.
Personalmente non sono d’accordo con chi indica di escludere via file robots.txt le pagine archivio di un blog (es., categorie e tag) al fine di prevenire problemi di duplicazione. Impedendo ai crawler di scaricare tali pagine si blocca infatti anche la distribuzione del “link juice” (=PageRank+anchor text) alle pagine dei post attraverso i link (interni o esterni al sito) che puntano alle pagine dei tag o delle categorie: l’uso dei Disallow nel robots.txt, che si può benissimo utilizzare per altri fini, o come workaround o in casi d’emergenza, risulta perciò in questo caso una soluzione sub-ottimale.
Se lo scopo è quello di prevenire l’indicizzazione di pagine con contenuti sostanzialmente duplicati rispetto alle pagine dei post, esistono almeno due alternative preferibili al Disallow: una prima soluzione, estremamente semplice da adottare ed efficace nella maggior parte dei casi, è quella di visualizzare sulle pagine archivio soltanto un estratto dei post, e non il loro contenuto integrale; una seconda soluzione (che avevo già suggerito in questo commento) è quella di usare un meta tag robots “NOINDEX,FOLLOW” (“FOLLOW” in realtà è implicito, e perciò può essere omesso): ugualmente efficace ai fini preventivi, ma più efficiente dal punto di vista SEO. Usando il NOINDEX si raggiunge infatti lo scopo (impedire l’indicizzazione delle pagine archivio) e contemporaneamente si lascia fluire liberamente il link juice attraverso il sito e arrivare a destinazione, ottenendo una miglior distribuzione di PageRank e tematizzazione sulle pagine dei post e nel sito nel suo complesso.
Se la differenza tra usare l’uno o l’altro metodo può essere trascurabile per blog di piccole dimensioni, su siti con un alto numero di post, categorie o tag (e quindi un alto numero di link verso le pagine archivio), l’introduzione del Disallow potrebbe produrre più danni che altro, specialmente se il rischio duplicazione è più immaginario che reale. Per questo motivo, chi suggerisce di utilizzare il file robots.txt come fosse il migliore (o l’unico) strumento per prevenire problemi di duplicazione, senza nemmeno menzionare l’esistenza di alternative preferibili, dà un’indicazione errata dal punto di vista SEO (se per “SEO” intendiamo “ottimizzazione”, e non solo prevenzione o risoluzione di criticità).
Giacomo
12/11/09 14:31 - Link
Ciao Giacomo,
la soluzione di mostrare nelle pagine archivio soltanto un estratto dei post, non potrebbe creare problemi se anche nella Home del Blog vengono visualizzati solo gli abstract e non i post integrali?
Per quanto riguarda invece la soluzione del meta tag “NOINDEX,FOLLOW” nella pagine archivio, hai pienamente ragione ed è effettivamente la soluzione migliore (tra l’altro in WordPress è facilmente implementabile impostando adeguatamente un solo Plugin).
Aggiorno il post aggiungendo questa utilissima indicazione.
Grazie per la segnalazione.
12/11/09 14:49 - Link
Se la home page del blog visualizza l’abstract degli ultimi (fai 10) post in ordine cronologico inverso, il suo contenuto sarà comunque diverso da quello delle pagine archivio, che includono solo i post aventi una certa data / categoria / tag.
12/11/09 15:14 - Link
Vero anche quello… :)
12/11/09 15:16 - Link
Specifico meglio: se si teme che il problema di duplicazione possa presentarsi fra la home page del blog e gli archivi mensili, basterà visualizzare i post integrali sulla prima e gli abstract sulla seconda (se possibile; altrimenti, NOINDEX).
12/11/09 15:21 - Link
Concordo perfettamente con Giacomo sulla soluzione del noindex,follow: è una pratica utilissima in generale su tutti i template di pagina che prevedono esclusivamente dei link, come ad esempio gli pagine elenco “paginate”, i tag (se gestiti in maniera errata a livello editoriale), ecc.
12/11/09 22:24 - Link
Grazie Andrea, un altro autorevole parere a sostegno del Meta Tag Robots.
13/11/09 08:47 - Link
Ciao Mattia!
non posso che concordare con quanto indicato da Giacomo: sto facendo vari esperimenti sul mio blog. Ho giocato un po con il file robots nonchè attivato/disattivato i follow da impostazioni di wordpress.
Bene, da quando ho fatto queste modifiche, gli accessi al sito stanno avendo un costante è +70% rispetto al mese precedente (ovviamente stesso lasso di tempo).
Prima di queste modifiche avevo impostato i vari disallow, come da te inizialmente detto: stavo perdendo più della metà dei visitatori…
Spero che come case history possa servire :)
Ciaoo!
16/11/09 12:34 - Link
Ciao Mattia (caspita, siamo quasi omonimi :D ) grazie per aver condiviso la tua Case History.
Devo ammettere però che mi pare strano che un tale incremento delle visite, sia dovuto solamente al passaggio dal Disallow delle Categorie nel robots.txt, al meta robots “noindex,follow”.
Assodato che l’incremento di traffico non può essere dovuto all’inclusione nelle SERP delle pagine Categorie, che in entrambi i casi non vengono indicizzate.
Vorrebbe dire che il solo Link Juice passato dai link, presenti nelle pagine Categorie, ha generato un incremento del posizionamento dei Post tale da portare il 70% di traffico in più sul sito.
Sinceramene mi sembra un po’ strano che il solo incremento dei link interni, possa aver portato ad un risultato di queste proporzioni.
16/11/09 13:13 - Link
Ciao Mattia (speriamo di non fare confusione con il nome :) )
sicuramente non è normale un incremento così improvviso, eppure le condizioni di partenza sono quasi le stesse di quando non li avevo.
In pratica, ho tenuto fermo negli aggiornamenti e nell’inserimento di link nella rete, in modo da evitare problemi che portassero incrementi di visite e spinte nei motori di ricerca appunto per nuovi contenuti e/o backlink (ovvio che non ho il controllo assoluto dei link, ma non è un blog da ricevere link spontanei tutti i giorni).
Sicuramente sarà stato un caso il +70%, dovuto al fatto che tutti i navigatori si sono messi d’accordo :) ma comunque un incremento notevole l’ho constatato (infatti il miglioramento di questa settimana si è ridotto abbastanza, ma complessivamente sempre migliore rispetto a prima)
Analizzando la curva degli accessi nel tempo, si è rilevata molto più lineare e ripetitiva nel tempo rispetto a prima, in cui la distribuzione degli accessi era molto meno lineare rispetto ad ora.
Questo ha portato sicuramente un miglioramento degli accessi al sito (ho controllato le visite fuori target e si sono ridotte molto). Il fatto di avere link all’interno del sito, ha migliorato la tematizzazione dello stesso agli occhi dei motori di ricerca, che lo stanno premiando con posizionamneti migliori e conseguente incremento sia della qualità degli accessi che del numero.
Ora continuerò ad analizzare il traffico, poi si vedrà :)
Ciaoo!!
20/11/09 17:59 - Link
Post molto interessante ed utile, complimenti.
Io, personalmente, utilizzo il plugin All In Seo Pack per la gestione del file robots.txt.
15/12/09 10:00 - Link
Ciao Giapox, grazie.
L’ “All in One SEO Pack” è senza dubbio un ottimo plugin per WordPress, ma permette solo di impostare i “meta robots” in alcune pagine e non consente la completa gestione del file robots.txt
15/12/09 10:11 - Link
Salve a tutti.
Mi riallaccio al discorso di Giacomo Pelegatti per condividere un dubbio sul quale mi piacerebbe sentire altre opinioni.
L’esclusione di tag e category (a prescindere dalla modalità con cui viene fatta), non influenza negativamente Google nell’eventuale creazione di sitelink sotto lo snippet nei risultati di ricerca?
09/04/10 15:12 - Link
Ciao KDeP,
per mia esperienza personale, all’interno dei sitelink non ho mai trovato pagine escluse dall’indicizzazione (via robots.txt o meta tag robots).
Quindi direi che l’esclusione delle pagine tag e category, comporti in effetti l’esclusione di queste pagine anche dall’elenco dei sitelink.
09/04/10 15:26 - Link
Ciao a tutti,
Mi riallaccio alla discussione: alcuni mesi fa, l’amico e collega Petro ci aveva segnalato un sito che sulle SERP di Google mostrava nei propri sitelink una pagina marchiata con un bel meta tag NOINDEX. :)
Anche il mio blog in inglese, http://www.everfluxx.com, fino a gennaio aveva tra i sitelink alcune pagine delle categorie, anch’esse escluse dall’indicizzazione col meta tag NOINDEX. Ora il sito ha perso i sitelink (presumo a causa del calo di traffico dovuto al fatto che è appunto da gennaio che non faccio un post), ma all’epoca avevo preso uno screen-shot che potete vedere qui: http://pikchur.com/pOk
Perciò la presenza del NOINDEX, contrariamente a quanto si potrebbe pensare, non impedisce a Google di usare un URL come sitelink.
17/04/10 18:42 - Link
Ciao Giacomo,
grazie della segnalazione, come dicevo nel commento precedente, nei siti che gestisco non avevo mai trovato nei sitelink pagine escluse dall’indicizzazione.
Scelta un po’ discutibile comunque, mettere così in evidenza pagine che chi gestisce il sito non voleva neanche fossero indicizzate :-)
18/04/10 08:42 - Link
Su questo concordo senz’altro.
18/04/10 16:58 - Link
Ciao, ho utilizzato il tuo consiglio soprattutto per evitare l’indicizzazione di pagine inerenti ai plugins però mi ritrovo centinaia e centinaia di pagine indicizzate ugualmente senza che esse siano state rimosse dai risultati. Inoltre mi ritrovo diversi errori crawlers nel tool webmaster di google sempre di pagine interne di plugin wp. Ho il plugin xml google sitemap generator ma ho tolto la spunta che permette di creare un robots.txt “virtuale”.
Come potrei risolvere questo strano problema?
06/06/10 13:05 - Link
Ciao fil,
il problema è che molto probabilmente le pagine erano già state indicizzare prima che tu impostassi il robots.txt, per eliminarle dai risultati di ricerca, dovresti richiederne la rimozione attraverso i Google Webmaster Tools.
06/06/10 13:20 - Link
Grazie mille della risposta ed anche della velocità con la quale mi hai risposto!
Hai ragione riguardo all’indicizzazione di molte pagine prima della creazione del robots.txt.. il problema è che continua ad aggiungerne nonostante la creazione del robots.txt.
Sinceramente già ho segnalato l’eliminazione di molti link soprattutto per ora di quelli con errore 404 anche se pure in questo caso in crawls errors quelle pagine continuano ad essere presenti.. è normale?
06/06/10 14:04 - Link
La richiesta di rimozione (che purtroppo richiede tempo per essere attuata) viene presa in considerazione solo se le pagine che si vogliono rimuovere sono prima state bloccate da robots.txt.
Adesso che hai sistemato il robots.txt, ti conviene richiedere nuovamente la rimozione dell’intera directory dei plugins.
06/06/10 14:13 - Link
Sinceramente i links sono stati rimossi in poche ore! In ogni caso non ho più centinaia di pagine indicizzate sui plugin ;) Quindi tutto ha funzionato bene, eppure gli errori di scansione persistono.
Credo a questo punto che abbia bisogno di più tempo l’aggiornamento degli errori in scansione e suggerimenti html
07/06/10 09:06 - Link
Effettivamente con il passare di giorni gli errori sono scomparsi tutti :D
Come ben sai ho preso spunto dal tuo articolo per il robots.txt ed ecco il risultato:
User-agent: *
Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Allow: /wp-content/uploads/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Sitemap: link/sitemap.xml
Mi sono accorto di una cosa molto molto strana però.. nessuna categoria è stata indicizzata xD. Sembrerebbe che google apprezzi molto di più i tag (che risultano essere senza descrizione ne keywords con dei tools seo online). Proprio mentre scrivo e penso che non ci siano ragioni plausibili per la non indicizzazioni delle categorie sto ripensando al fatto che abbia installato un plugin di nome no category base..
mhh non vorrei dipendesse da questo plugin ora che ci penso.. infatti dal robots avevo scelto di escludere la parte del disallow category……
23/06/10 17:21 - Link
Ehi!
Fica l’idea di inserire questo link nel robots.
Visto che sono passati alcuni mesi, rilancio il post che è sempre d’attualità e riformulo alcune domande su quanto sostenuto durante l’interessante discussione.
-Noindex, follow: Intendete forzare no index all’header delle categorie, tags et similia?
-Nei casi ragionevoli, intesi dal tuo robots è necessario comunque procedere alla richiesta di cancellazione, una volta modificato il file robots?
-In ogni caso è necessario rifare l’upload del robots o verrà comunque rilevato dallo screening?
Tx a lot.
02/11/10 17:27 - Link
il problema principale della penalizzazione tag excess è che forma contenuti duplicati…in 2-3 settimane corretto l’eccesso si esce senza richiesta di reinclusione.
è qui che capita a puntino il tuo discorso: basterebbe non far indicizzare i tag con robots.txt!
26/11/10 16:29 - Link
Ciao Luca, ti rispondo per ordine:
- si imposta il meta robots nell’head delle categorie e tags, la via più veloce per farlo è utilizzare il Plug-in All in One SEO Pack, con un paio di flag nelle impostazioni del plugin, imposti al volo il tutto
- nei casi ragionevoli riportati nel post, direi di no
- naturalmente dovrai rifare l’upload del robots.txt solo nel caso tu l’abbia modificato
01/12/10 21:48 - Link
scusa ma il comando allow non è riconosciuto…. ho fatto una prova con un analizzatore di robots.txt o e giusto???
20/12/11 17:41 - Link
Ciao Matteo,
tranquillo il comando allow è riconosciuto:
en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive
tra l’altro lo usa anche Google: http://www.google.com/robots.txt ;-)
21/12/11 09:14 - Link
grazie per la risposta per quanto riguarda questi comandi?
Disallow: */trackback/
Il carattere speciale asterisco (*) nel nome dei file o delle directory non è accettato da tutti gli user-agent specificati per questo blocco di codice. Dovresti usare il carattere speciale “*” in un blocco di codice indirizzato esclusivamente a spider che lo supportano (Es: Googlebot).
[...]
può essere un problema ?
Ciao!
21/12/11 09:33 - Link
Anche per l’asterisco non ci sono problemi.
21/12/11 16:50 - Link
Ho una domanda, una volta creato il robot.txt per escludere ad esempio link che non sono più presenti nel nostro blog, è possibile poi modificarlo in futuro eliminando quei link? o ci dovranno essere per sempre perché google li vede sempre come errori?
Se si può modificare, in quanto tempo google considera definitiva la rimozione del link?
14/04/12 12:36 - Link
Ciao Giuseppe, in presenza di pagine non più esistenti, non è corretto bloccarne l’indicizzazione con il Robots.txt.
Hai due opzioni:
- assicurati che le vecchie pagine restituiscano un errore 404 e richiedine la rimozione dagli indici di Google attraverso i Webmasters Tools;
- oppure, soluzione consigliata, imposta dei Redirect 301 dalle vecchie pagine non più esistenti alle pagine più contestuali all’interno del tuo blog.
15/04/12 13:46 - Link
Ciao Mattia, ho un problema con le meta descrizioni duplicate e tag title duplicati.
Vorrei utilizzare il file robot.txt per risolvere il problema utilizzando queste stringhe:
User-agent: *
Allow: *.html$
Allow: http:// www . nomesito . it
Disallow: /
come potrai notare:
1) la prima stringa dovrebbe dire a tutti i motori che il sito è disponibile all’indicizzazione;
2) che voglio indicizzare le pagine.html;
3) che voglio indicizzare la home page del mio sito (la home page non è .html)
4) che tutto il resto del sito non voglio che sia indicizzato.
La mia perplessità è che non essendo la home page in .html con queste regole che ti ho descritto potrei essere “cancellato” dai motori di ricerca perchè non vede la homepage.
Che ne pensi???
02/05/12 19:34 - Link
Ciao Francesco,
le istruzioni corrette per consentire l’indicizzazione della Home e delle pagine “.html”, bloccando al contempo tutto il resto del sito, sono le seguenti:
Riga 2: consente l’indicizzazione della sola Home
Riga 3: consente l’indicizzazione di tutte le pagine con estensione “.html”
Riga 4: blocca l’indicizzazione di tutto il resto
Mi sembra però una soluzione un po’ troppo estrema (e scorretta) per correggere Title e Description duplicate ;-)
02/05/12 20:00 - Link
Ciao Mattia, grazie per la risposta.
1) Non riesco a capire la riga 2. il simbolo $ dovrebbe significare termina lì.
Scrivendo allow: /$ cosa dico ai motori di ricerca: permetti tutto termina qui??
Non riesco a capire…..
2) perchè dici che è una procedura estrema e scorretta???
Grazie per la tua disponibilità.
03/05/12 11:38 - Link
La riga 2 consente l’indicizzazione dell’unico url che inizia con lo “/” e termina subito dopo lo “/”, praticamente la sola home.
Qui trovi tutte le specifiche del robots.txt e in fondo alla pagina c’è una tabella riassuntiva con un esempio dell’istruzione citata.
La ritengo una proceduta un po’ estrema in quanto sarebbe meglio risolvere il problema di duplicazione degli url/title/description a monte, piuttosto che correre ai ripari con il robots.txt ;-)
03/05/12 12:47 - Link
Ciao senti, nel caso in cui ho WordPress in una cartella, cosa dovrei cambiare all’interno del file? Mi sono accorto dopo diversi mesi dell’assenza del file robots.txt
24/04/14 16:31 - Link
Ciao Mattia,
ottimo consigli i tuoi, li ho usati per il mio sito, soprattutto i Tag non vanno indicizzati in passato sono stato vittima della Penalizzazione Tag Excess, settare il file robots è una delle prime operazioni da compiere sui nuovi siti web per evitare problemi futuri come le penalizzazioni !!!!
06/05/14 12:01 - Link