Para configurar robots.txt, crea un archivo de texto UTF-8 con ese nombre en la raíz del dominio, agrupa las reglas por User-agent y decide qué bots de IA permites. Bloquear un bot de entrenamiento no te saca de las respuestas de esa IA; bloquear uno de búsqueda, sí. Después, compruébalo en Search Console y abriendo la URL en una ventana privada.
robots.txt es un archivo de texto que indica a los rastreadores qué URL de tu web pueden visitar. Antes importaba sobre todo para los buscadores. Ahora también decide qué asistentes de IA pueden leerte, y cada uno usa varios bots con funciones distintas.
¿Dónde está robots.txt y cómo se edita?
Está en la raíz de tu dominio: abre tudominio.com/robots.txt para verlo. La forma de editarlo depende de tu plataforma, y los nombres de los menús pueden variar con el idioma:
| Plataforma | Dónde se edita | Ojo con |
|---|---|---|
| WordPress con Yoast SEO | Yoast SEO → Herramientas → Editor de archivos | El menú no aparece si WordPress tiene desactivada la edición de archivos |
| WordPress con Rank Math | Rank Math SEO (modo avanzado) → Ajustes generales → Editar robots.txt | Pide borrar antes el archivo físico si existe |
| WordPress sin plugin | Sube un archivo por FTP o desde el gestor de archivos | WordPress sirve uno virtual, y el físico tiene prioridad sobre él |
| Shopify | Tienda online → Editar código → plantilla robots.txt.liquid | Shopify no da soporte a esta edición y avisa de que un error puede costarte todo el tráfico |
| Web a medida o HTML | Súbelo por FTP a la carpeta pública | Usa un editor de texto plano, nunca un procesador de textos |
Si usas Cloudflare, mira también su panel. Su robots.txt gestionado añade reglas para bots de IA por delante de las tuyas, así que el archivo que se sirve puede no ser el que subiste.
¿Qué reglas debe cumplir para ser válido?
Un robots.txt válido se llama exactamente así, está en la raíz, es texto UTF-8 y usa campos admitidos. Las reglas están en la documentación de Google y en el estándar RFC 9309:
- Nombre y lugar exactos:
robots.txt, en la raíz. En una subcarpeta no vale, y cada subdominio necesita el suyo. - Formato: texto plano en UTF-8. Google ignora lo que pase de 500 KiB.
- Mayúsculas: los nombres de campo y de bot dan igual, pero las rutas no:
/Blog/y/blog/son distintas. - Campos: Google admite
user-agent,allow,disallowysitemap. No admitecrawl-delay. - Rutas: empiezan por
/. El comodín*vale por cualquier secuencia y$marca el final de la URL. Gana la regla más larga. - Sitemap: con URL completa. Puedes poner varios, y no dependen de ningún grupo.
La respuesta del servidor también cuenta. Con un 4xx, Google actúa como si no hubiera archivo, sin restricciones. Con un 5xx, deja de rastrear tu web durante las primeras 12 horas y luego usa la última copia válida hasta 30 días.
¿Qué bots de IA hay y qué pasa si los bloqueas?
Los bots de IA se dividen en tres funciones: entrenamiento, búsqueda y visitas a petición del usuario. Bloquear uno de búsqueda te quita visibilidad; bloquear uno de entrenamiento, normalmente, no. Esto dice la documentación de cada empresa a 31 de octubre de 2026:
| Bot | Empresa | Para qué sirve | Si lo bloqueas |
|---|---|---|---|
GPTBot | OpenAI | Entrenamiento | Tu contenido no debería usarse para entrenar |
OAI-SearchBot | OpenAI | Búsqueda de ChatGPT | No sales en sus respuestas, salvo enlaces de navegación |
ChatGPT-User | OpenAI | Visitas a petición del usuario | OpenAI avisa de que robots.txt puede no aplicarse |
Google-Extended | Entrenamiento y grounding en Gemini y Vertex AI | Sales de esos usos. No afecta a la búsqueda de Google | |
ClaudeBot | Anthropic | Entrenamiento | Tu contenido futuro queda fuera del entrenamiento |
Claude-SearchBot | Anthropic | Índice de búsqueda | Puedes perder visibilidad en sus respuestas |
PerplexityBot | Perplexity | Búsqueda; no entrena | Puedes dejar de salir en sus resultados |
Meta-ExternalAgent | Meta | Entrenamiento e indexación | Sales de ambos usos, porque comparten nombre. Meta AI cita con otro bot, Meta-WebIndexer |
Applebot-Extended | Apple | Controla el entrenamiento; no rastrea | Sigues pudiendo aparecer en la búsqueda de Apple |
CCBot | Common Crawl | Archivo público de la web | Sales de ese archivo, que terceros pueden reutilizar |
Google ha anunciado una señal común de entrenamiento para 2027, que explicamos en cómo separan Google y Bing entrenar y citar.
¿Qué errores dejan pasar a un bot donde no querías?
El principal es crear un grupo para un bot sin repetir las reglas generales. Según Google y el estándar, cada bot sigue solo el grupo más específico que le corresponde, y ese grupo no se suma al de *:
# Mal: GPTBot ignora el bloqueo de /admin/
User-agent: *
Disallow: /admin/
User-agent: GPTBot
Allow: /
Si solo quieres permitir, no crees el grupo: sin una regla que lo impida, el bot ya puede pasar. Si le pones un grupo propio, repite dentro todo lo que deba respetar. Otros tres errores comunes:
- Bloquear por plantilla. Una lista copiada de internet puede incluir bots de búsqueda junto a los de entrenamiento.
- Creer que
User-agent: *conDisallow: /solo afecta a las IA. Afecta a cualquier bot sin grupo propio, incluido Googlebot. - Usar robots.txt para quitar una página de Google. Controla el rastreo, no la indexación. Para eso está
noindex, y la página debe poder rastrearse para que Google lo lea. Tampoco bloquees URL de tu sitemap.
¿Qué plantilla de robots.txt te conviene?
Para una empresa que quiere captar clientes, recomendamos la opción 1: deja pasar a todos los bots, sin nombrarlos. Sustituye las rutas por las tuyas: /wp-admin/ solo tiene sentido en WordPress.
Opción 1: visible en buscadores y en IA
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap.xml
Opción 2: visible en respuestas, sin entrenamiento
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap.xml
Hemos dejado fuera dos decisiones que debes tomar aparte. Google-Extended frena también tu presencia en Gemini, y Meta-ExternalAgent mezcla entrenamiento e indexación. Añádelos solo si aceptas ese coste.
¿Y el llms.txt? robots.txt no tiene una directiva para declararlo. Como mucho, puedes mencionarlo en un comentario con #, que los bots ignoran. Es otro archivo con otra función, y lo explicamos en qué es el archivo llms.txt.
¿Qué bloquean las webs españolas?
El 31 de octubre de 2026 leímos el robots.txt público de 245 webs con presencia en España. De las 188 con un archivo legible, 40 bloquean por completo al menos un bot de IA (el 21 %), y 137 (el 73 %) no nombran a ninguno. Los medios concentran la mitad de los bloqueos.
| Sector | robots.txt leídos | Bloquean algún bot de IA | % |
|---|---|---|---|
| Medios de comunicación | 36 | 20 | 56 % |
| Salud, motor, inmobiliaria y servicios | 18 | 5 | 28 % |
| Turismo y transporte | 12 | 3 | 25 % |
| Administración pública | 23 | 3 | 13 % |
| Marketing, alojamiento web y blogs | 33 | 4 | 12 % |
| Comercio | 26 | 3 | 12 % |
| Educación | 20 | 2 | 10 % |
| Banca, seguros y suministros | 20 | 0 | 0 % |
| Total | 188 | 40 | 21 % |
Por bot, los más bloqueados son Bytespider (35), CCBot (33), ClaudeBot (27) y Amazonbot (27). Les siguen GPTBot (23), PerplexityBot (22), OAI-SearchBot (16) y Google-Extended (12).
El dato más llamativo: de las 23 webs que bloquean GPTBot, 16 también bloquean OAI-SearchBot. Es decir, además de rechazar el entrenamiento, piden no aparecer en la búsqueda de ChatGPT. Entre ellas hay medios como Marca y ABC, y organismos como el SEPE. En un medio puede ser una decisión deliberada; en una empresa que busca clientes, sería un error.
Cómo leer estos datos: elegimos las webs a mano, no al azar, así que el porcentaje describe esta muestra y no toda la web española. Contamos solo bloqueos completos (Disallow: /) de 13 bots nombrados, y no los parciales. 57 webs no devolvieron un archivo legible, y 29 de ellas respondieron con un error 403 a nuestra consulta.
¿Cómo comprobar que funciona?
Para comprobar robots.txt, sigue estos tres pasos:
- Ábrelo en una ventana privada. Google lo recomienda para confirmar que es público y que el contenido es el tuyo. Si usas Cloudflare o un plugin de seguridad, aquí verás lo que añaden.
- Revisa el informe de robots.txt en Search Console → Ajustes. Debe indicar «Obtenido» y no mostrar errores. Google suele guardar el archivo hasta 24 horas: si el cambio es urgente, solicita un nuevo rastreo desde ese informe.
- Mira si tu firewall deja pasar. robots.txt puede permitir a un bot que tu servidor bloquea. Busca sus visitas en los registros del servidor. Como prueba rápida, ejecuta
curl -I -A "OAI-SearchBot" https://tudominio.com/: un 403 es señal de que hay un bloqueo por nombre, aunque algunos sistemas distinguen a los bots reales por su IP.
Recuerda el límite: el estándar deja claro que sus reglas no son una autorización de acceso, y TollBit estima que alrededor del 15 % de las lecturas de bots de IA ignoraron un bloqueo explícito en la primera mitad de 2026. Lo que no deba salir de tu web necesita usuario y contraseña.
Permitir el acceso no basta para que te citen: el resto está en cómo aparecer en ChatGPT. Si prefieres que lo revisemos por ti, lo hacemos en nuestra consultoría AEO.
Agaro Marketing
En Agaro Marketing configuramos el SEO técnico de empresas en toda España. Los datos de este artículo son nuestros: leímos los archivos robots.txt el 31 de octubre de 2026.
Preguntas frecuentes
¿Es obligatorio tener un robots.txt?
No. Si el archivo no existe y el servidor responde con un 404, Google entiende que puede rastrear toda la web. Es recomendable tenerlo si necesitas excluir zonas de rastreo o declarar el sitemap, y debe responder bien: un error 5xx frena el rastreo.
¿Hay que permitir a GPTBot para salir en ChatGPT?
No. Según OpenAI, GPTBot sirve para el entrenamiento y OAI-SearchBot para la búsqueda de ChatGPT. Puedes bloquear el primero y permitir el segundo. Para salir en sus respuestas, lo que importa es no bloquear OAI-SearchBot ni impedirle el paso desde el firewall.
¿Bloquear Google-Extended me saca de AI Overviews?
No. Google-Extended controla el entrenamiento y el grounding en Gemini y Vertex AI. AI Overviews y AI Mode se controlan con un ajuste aparte en Search Console. Tampoco afecta a tu posición en la búsqueda.
¿Quieres que las IA puedan leer tu web?
Revisamos tu robots.txt, tu firewall y tu contenido, y te decimos qué te está dejando fuera de las respuestas de IA.
Quiero revisar mi web →


