User-agent: *

Disallow: /wp-
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

Allow: /wp-content/uploads/

Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/

Disallow: /*?*
Disallow: /*?

Sitemap: link/sitemap.xml

Mi sono accorto di una cosa molto molto strana però.. nessuna categoria è stata indicizzata xD. Sembrerebbe che google apprezzi molto di più i tag (che risultano essere senza descrizione ne keywords con dei tools seo online). Proprio mentre scrivo e penso che non ci siano ragioni plausibili per la non indicizzazioni delle categorie sto ripensando al fatto che abbia installato un plugin di nome no category base..
mhh non vorrei dipendesse da questo plugin ora che ci penso.. infatti dal robots avevo scelto di escludere la parte del disallow category……

Adesso che hai sistemato il robots.txt, ti conviene richiedere nuovamente la rimozione dell’intera directory dei plugins.

il problema è che molto probabilmente le pagine erano già state indicizzare prima che tu impostassi il robots.txt, per eliminarle dai risultati di ricerca, dovresti richiederne la rimozione attraverso i Google Webmaster Tools.

Scelta un po’ discutibile comunque, mettere così in evidenza pagine che chi gestisce il sito non voleva neanche fossero indicizzate :-)

Su questo concordo senz’altro.

grazie della segnalazione, come dicevo nel commento precedente, nei siti che gestisco non avevo mai trovato nei sitelink pagine escluse dall’indicizzazione.

Scelta un po’ discutibile comunque, mettere così in evidenza pagine che chi gestisce il sito non voleva neanche fossero indicizzate :-)

Mi riallaccio alla discussione: alcuni mesi fa, l’amico e collega Petro ci aveva segnalato un sito che sulle SERP di Google mostrava nei propri sitelink una pagina marchiata con un bel meta tag NOINDEX. :)

Anche il mio blog in inglese, http://www.everfluxx.com, fino a gennaio aveva tra i sitelink alcune pagine delle categorie, anch’esse escluse dall’indicizzazione col meta tag NOINDEX. Ora il sito ha perso i sitelink (presumo a causa del calo di traffico dovuto al fatto che è appunto da gennaio che non faccio un post), ma all’epoca avevo preso uno screen-shot che potete vedere qui: http://pikchur.com/pOk

Perciò la presenza del NOINDEX, contrariamente a quanto si potrebbe pensare, non impedisce a Google di usare un URL come sitelink.

per mia esperienza personale, all’interno dei sitelink non ho mai trovato pagine escluse dall’indicizzazione (via robots.txt o meta tag robots).

Quindi direi che l’esclusione delle pagine tag e category, comporti in effetti l’esclusione di queste pagine anche dall’elenco dei sitelink.

Mi riallaccio al discorso di Giacomo Pelegatti per condividere un dubbio sul quale mi piacerebbe sentire altre opinioni.

L’esclusione di tag e category (a prescindere dalla modalità con cui viene fatta), non influenza negativamente Google nell’eventuale creazione di sitelink sotto lo snippet nei risultati di ricerca?

L’ “All in One SEO Pack” è senza dubbio un ottimo plugin per WordPress, ma permette solo di impostare i “meta robots” in alcune pagine e non consente la completa gestione del file robots.txt

In pratica, ho tenuto fermo negli aggiornamenti e nell’inserimento di link nella rete, in modo da evitare problemi che portassero incrementi di visite e spinte nei motori di ricerca appunto per nuovi contenuti e/o backlink (ovvio che non ho il controllo assoluto dei link, ma non è un blog da ricevere link spontanei tutti i giorni).

Sicuramente sarà stato un caso il +70%, dovuto al fatto che tutti i navigatori si sono messi d’accordo :) ma comunque un incremento notevole l’ho constatato (infatti il miglioramento di questa settimana si è ridotto abbastanza, ma complessivamente sempre migliore rispetto a prima)

Analizzando la curva degli accessi nel tempo, si è rilevata molto più lineare e ripetitiva nel tempo rispetto a prima, in cui la distribuzione degli accessi era molto meno lineare rispetto ad ora.

Questo ha portato sicuramente un miglioramento degli accessi al sito (ho controllato le visite fuori target e si sono ridotte molto). Il fatto di avere link all’interno del sito, ha migliorato la tematizzazione dello stesso agli occhi dei motori di ricerca, che lo stanno premiando con posizionamneti migliori e conseguente incremento sia della qualità degli accessi che del numero.

Ora continuerò ad analizzare il traffico, poi si vedrà :)

Ciaoo!!

Devo ammettere però che mi pare strano che un tale incremento delle visite, sia dovuto solamente al passaggio dal Disallow delle Categorie nel robots.txt, al meta robots “noindex,follow”.

Assodato che l’incremento di traffico non può essere dovuto all’inclusione nelle SERP delle pagine Categorie, che in entrambi i casi non vengono indicizzate.

Vorrebbe dire che il solo Link Juice passato dai link, presenti nelle pagine Categorie, ha generato un incremento del posizionamento dei Post tale da portare il 70% di traffico in più sul sito.

Sinceramene mi sembra un po’ strano che il solo incremento dei link interni, possa aver portato ad un risultato di queste proporzioni.

Bene, da quando ho fatto queste modifiche, gli accessi al sito stanno avendo un costante è +70% rispetto al mese precedente (ovviamente stesso lasso di tempo).

Prima di queste modifiche avevo impostato i vari disallow, come da te inizialmente detto: stavo perdendo più della metà dei visitatori…

Spero che come case history possa servire :)

Ciaoo!