#escludo tutti gli user agent dalle directory che non voglio vengano indicizzare
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /docs/
Disallow: /editors/
Disallow: /email/
Disallow: /extras/
Disallow: /images/
Disallow: /media/
Disallow: /pub/

#Escludo solo Googlebot-image ossia lo spider di Google che indicizza le immagini  
User-Agent: Googlebot-Image
Disallow: /

#Escludiamo anche i robot di Netmechanic, il sito che offre servizi di controllo di siti Web
User-agent: NetMechanic
Disallow: /

#Escludiamo anche EmailCollector, che ricerca sulla rete indirizzi di e-mail per poi utilizzarli nello spam
User-agent: EmailCollector
Disallow: /

#Escludiamo anche Teleport, l'offline browser noto per le sue capacità di sovraccaricare i server
User-agent: Teleport
Disallow: /