Generador Robots.txt Gratis - Bloquear Bots IA, ChatGPT y Scrapers

Generador de robots.txt

Esta herramienta arma un archivo robots.txt a partir de unos pocos ajustes: una regla por defecto para todos los rastreadores, una lista de rutas que bloquear, una línea opcional de retraso de rastreo y sitemap, y una lista de verificación con 19 rastreadores y scrapers de IA identificados por nombre y divididos en dos grupos. Cada cambio actualiza la vista previa al instante, y el archivo final se puede copiar o descargar como robots.txt.

Cómo se arma el archivo

Un archivo robots.txt es una lista simple de pares User-agent y directiva, leída de arriba hacia abajo. La herramienta siempre empieza con User-agent: *, seguido de Disallow: / cuando el valor por defecto es bloquear todo, o de una línea Disallow: por cada ruta escrita en Rutas Restringidas cuando el valor por defecto es permitir todo, con Allow: / en su lugar si no se listó ninguna ruta. Una línea opcional de Retraso de Rastreo fija una espera en segundos entre peticiones; se añade sin importar qué valor por defecto se eligió, aunque no todos los rastreadores la respetan. El rastreador de Google ignora por completo el retraso de rastreo, mientras que Bing y varios otros sí lo leen. Marcar una casilla bajo Protección contra Bots de IA agrega un bloque User-agent independiente con el identificador real de ese rastreador, como GPTBot para el rastreador de entrenamiento de OpenAI o CCBot para Common Crawl, cada uno seguido de su propio Disallow: /. Un único interruptor sobre la lista marca o desmarca todos los bots a la vez, y si ya están todos marcados, los desmarca en su lugar. Al final se añade una línea Sitemap: con la URL indicada, si se proporcionó alguna.

Ejemplo práctico

Tomemos un sitio que deja el valor por defecto en Permitir Todo, escribe /panel y /carrito en Rutas Restringidas, fija el Retraso de Rastreo en 15, marca PerplexityBot y YouBot en Protección contra Bots de IA, y coloca https://ejemplo.es/sitemap.xml como sitemap. La salida abre con User-agent: * y Crawl-delay: 15, bloquea /panel y /carrito, agrega un bloque para PerplexityBot y otro para YouBot, cada uno bloqueando /, y cierra con la línea Sitemap.

Ejemplo de salida

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 15
Disallow: /panel
Disallow: /carrito

# Protección contra Bots de IA
User-agent: PerplexityBot
Disallow: /

User-agent: YouBot
Disallow: /


Sitemap: https://ejemplo.es/sitemap.xml