Disallow: */trackback/
Il carattere speciale asterisco (*) nel nome dei file o delle directory non è accettato da tutti gli user-agent specificati per questo blocco di codice. Dovresti usare il carattere speciale “*” in un blocco di codice indirizzato esclusivamente a spider che lo supportano (Es: Googlebot).
[...]

può essere un problema ?

Ciao!

tranquillo il comando allow è riconosciuto:
en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive

tra l’altro lo usa anche Google: http://www.google.com/robots.txt ;-)

Visto che sono passati alcuni mesi, rilancio il post che è sempre d’attualità e riformulo alcune domande su quanto sostenuto durante l’interessante discussione.

-Noindex, follow: Intendete forzare no index all’header delle categorie, tags et similia?
-Nei casi ragionevoli, intesi dal tuo robots è necessario comunque procedere alla richiesta di cancellazione, una volta modificato il file robots?
-In ogni caso è necessario rifare l’upload del robots o verrà comunque rilevato dallo screening?

Tx a lot.

User-agent: *

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Allow: /wp-content/uploads/

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Disallow: /*?*
Disallow: /*?

Sitemap: link/sitemap.xml

Mi sono accorto di una cosa molto molto strana però.. nessuna categoria è stata indicizzata xD. Sembrerebbe che google apprezzi molto di più i tag (che risultano essere senza descrizione ne keywords con dei tools seo online). Proprio mentre scrivo e penso che non ci siano ragioni plausibili per la non indicizzazioni delle categorie sto ripensando al fatto che abbia installato un plugin di nome no category base..
mhh non vorrei dipendesse da questo plugin ora che ci penso.. infatti dal robots avevo scelto di escludere la parte del disallow category……

Adesso che hai sistemato il robots.txt, ti conviene richiedere nuovamente la rimozione dell’intera directory dei plugins.

il problema è che molto probabilmente le pagine erano già state indicizzare prima che tu impostassi il robots.txt, per eliminarle dai risultati di ricerca, dovresti richiederne la rimozione attraverso i Google Webmaster Tools.

Scelta un po’ discutibile comunque, mettere così in evidenza pagine che chi gestisce il sito non voleva neanche fossero indicizzate :-)

Su questo concordo senz’altro.

grazie della segnalazione, come dicevo nel commento precedente, nei siti che gestisco non avevo mai trovato nei sitelink pagine escluse dall’indicizzazione.

Scelta un po’ discutibile comunque, mettere così in evidenza pagine che chi gestisce il sito non voleva neanche fossero indicizzate :-)

Mi riallaccio alla discussione: alcuni mesi fa, l’amico e collega Petro ci aveva segnalato un sito che sulle SERP di Google mostrava nei propri sitelink una pagina marchiata con un bel meta tag NOINDEX. :)

Anche il mio blog in inglese, http://www.everfluxx.com, fino a gennaio aveva tra i sitelink alcune pagine delle categorie, anch’esse escluse dall’indicizzazione col meta tag NOINDEX. Ora il sito ha perso i sitelink (presumo a causa del calo di traffico dovuto al fatto che è appunto da gennaio che non faccio un post), ma all’epoca avevo preso uno screen-shot che potete vedere qui: http://pikchur.com/pOk

Perciò la presenza del NOINDEX, contrariamente a quanto si potrebbe pensare, non impedisce a Google di usare un URL come sitelink.

per mia esperienza personale, all’interno dei sitelink non ho mai trovato pagine escluse dall’indicizzazione (via robots.txt o meta tag robots).

Quindi direi che l’esclusione delle pagine tag e category, comporti in effetti l’esclusione di queste pagine anche dall’elenco dei sitelink.

Mi riallaccio al discorso di Giacomo Pelegatti per condividere un dubbio sul quale mi piacerebbe sentire altre opinioni.

L’esclusione di tag e category (a prescindere dalla modalità con cui viene fatta), non influenza negativamente Google nell’eventuale creazione di sitelink sotto lo snippet nei risultati di ricerca?

L’ “All in One SEO Pack” è senza dubbio un ottimo plugin per WordPress, ma permette solo di impostare i “meta robots” in alcune pagine e non consente la completa gestione del file robots.txt