#   
# robots.txt para tu blog en WordPress.   
#   
# http://www.sigt.net/desarrollo-web/robotstxt-para-wordpress.html   
#

User-agent: MSIECrawler   
User-agent: WebCopier   
User-agent: HTTrack   
User-agent: Microsoft.URL.Control   
User-agent: libwww   
Crawl-delay: 90
Disallow: /

User-agent: MSNBot
User-agent: Googlebot
User-agent: Slurp
Disallow: /wp-content/plugins/   
Disallow: /wp-content/themes/   
Disallow: /wp-includes/   
Disallow: /wp-admin/
Disallow: /imagenes/
Disallow: /cgi-bin/
Disallow: /wp-

#Disallow: /?cat=
Disallow: /?s=   
Disallow: /search

Disallow: /feed   
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   
Disallow: /*/*/*/trackback/$

#   
# A partir de aquí es opcional pero recomendado.   
#

# Lista de bots que suelen respetar el robots.txt pero rara   
# vez hacen un buen uso del sitio y abusan bastante...   
# Añadir al gusto del consumidor...

User-agent: MSIECrawler   
Disallow: /

User-agent: WebCopier   
Disallow: /

User-agent: HTTrack   
Disallow: /

User-agent: Microsoft.URL.Control   
Disallow: /

User-agent: libwww   
Disallow: /

#   
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen   
# idas de pinza, toca decirles que reduzcan la marcha.   
# El valor es en segundos y podéis dejarlo bajo e ir   
# subiendo hasta el punto óptimo.   
#

User-agent: noxtrumbot   
Crawl-delay: 50

User-agent: msnbot   
Crawl-delay: 30

User-agent: Slurp   
Crawl-delay: 15