Discussione: Robots.txt vBulletin 4.2.0

Originariamente Scritto da Fabioo

Buongiorno a tutti,

Volevo porvi un'altra domanda sull'indicizzazione/sicurezza di vBulletin.
Oltre a mancare il file htaccess, manca anche il file robots.txt, documento di testo fondamentale per dire cose indicizzare e non ai motori di ricerca.
In rete non sono riuscito a trovare nulla di ufficiale sulla corretta stesura di questo documento!

Potreste darmi una mano?

Grazie,
Fabio

Il file robots.txt non dovrebbe mancare nella radice del sito, ma può essere anche vuoto (nella maggioranza dei casi lo è).

Non so dove hai cercato, ma ci sono centinaia di milioni di risultati su Google

http://it.wikipedia.org/wiki/Protoco...clusione_robot

Originariamente Scritto da Fabioo

No ma io intendevo che non so quale directory di vB far indicizzare e quale non, di solito nei forum o nei cms in generale c'è sempre un robots.txt già compilato, non vorrei escludere qualche cartella fondamentale

Metti un file vuoto. Nella norma si indicizza tutto. Potresti però voler ad esempio escludere file zip e pdf (per risparmiare banda) tranne per Google, in questo modo:

Codice:

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /*.zip$
Disallow: /*.pdf$
Disallow: /*.doc$

perché? Google non ci trova nulla di interessante e quindi è come averla escluso.