Configurar robots.txt: mujer acerca una tarjeta al lector de acceso de la puerta de un edificio de oficinas
SEO técnico

Cómo configurar robots.txt para las IA y que sea válido

Una línea mal puesta puede sacarte de ChatGPT o dejar pasar a un bot donde no querías. Te explicamos cómo editar el archivo, qué permitir y cómo comprobarlo.

Agaro Marketing Por Agaro Marketing 1 de noviembre de 2026 12 min de lectura
Respuesta rápida

Para configurar robots.txt, crea un archivo de texto UTF-8 con ese nombre en la raíz del dominio, agrupa las reglas por User-agent y decide qué bots de IA permites. Bloquear un bot de entrenamiento no te saca de las respuestas de esa IA; bloquear uno de búsqueda, sí. Después, compruébalo en Search Console y abriendo la URL en una ventana privada.

robots.txt es un archivo de texto que indica a los rastreadores qué URL de tu web pueden visitar. Antes importaba sobre todo para los buscadores. Ahora también decide qué asistentes de IA pueden leerte, y cada uno usa varios bots con funciones distintas.

¿Dónde está robots.txt y cómo se edita?

Está en la raíz de tu dominio: abre tudominio.com/robots.txt para verlo. La forma de editarlo depende de tu plataforma, y los nombres de los menús pueden variar con el idioma:

PlataformaDónde se editaOjo con
WordPress con Yoast SEOYoast SEO → Herramientas → Editor de archivosEl menú no aparece si WordPress tiene desactivada la edición de archivos
WordPress con Rank MathRank Math SEO (modo avanzado) → Ajustes generales → Editar robots.txtPide borrar antes el archivo físico si existe
WordPress sin pluginSube un archivo por FTP o desde el gestor de archivosWordPress sirve uno virtual, y el físico tiene prioridad sobre él
ShopifyTienda online → Editar código → plantilla robots.txt.liquidShopify no da soporte a esta edición y avisa de que un error puede costarte todo el tráfico
Web a medida o HTMLSúbelo por FTP a la carpeta públicaUsa un editor de texto plano, nunca un procesador de textos

Si usas Cloudflare, mira también su panel. Su robots.txt gestionado añade reglas para bots de IA por delante de las tuyas, así que el archivo que se sirve puede no ser el que subiste.

¿Qué reglas debe cumplir para ser válido?

Un robots.txt válido se llama exactamente así, está en la raíz, es texto UTF-8 y usa campos admitidos. Las reglas están en la documentación de Google y en el estándar RFC 9309:

  • Nombre y lugar exactos: robots.txt, en la raíz. En una subcarpeta no vale, y cada subdominio necesita el suyo.
  • Formato: texto plano en UTF-8. Google ignora lo que pase de 500 KiB.
  • Mayúsculas: los nombres de campo y de bot dan igual, pero las rutas no: /Blog/ y /blog/ son distintas.
  • Campos: Google admite user-agent, allow, disallow y sitemap. No admite crawl-delay.
  • Rutas: empiezan por /. El comodín * vale por cualquier secuencia y $ marca el final de la URL. Gana la regla más larga.
  • Sitemap: con URL completa. Puedes poner varios, y no dependen de ningún grupo.

La respuesta del servidor también cuenta. Con un 4xx, Google actúa como si no hubiera archivo, sin restricciones. Con un 5xx, deja de rastrear tu web durante las primeras 12 horas y luego usa la última copia válida hasta 30 días.

¿Qué bots de IA hay y qué pasa si los bloqueas?

Los bots de IA se dividen en tres funciones: entrenamiento, búsqueda y visitas a petición del usuario. Bloquear uno de búsqueda te quita visibilidad; bloquear uno de entrenamiento, normalmente, no. Esto dice la documentación de cada empresa a 31 de octubre de 2026:

BotEmpresaPara qué sirveSi lo bloqueas
GPTBotOpenAIEntrenamientoTu contenido no debería usarse para entrenar
OAI-SearchBotOpenAIBúsqueda de ChatGPTNo sales en sus respuestas, salvo enlaces de navegación
ChatGPT-UserOpenAIVisitas a petición del usuarioOpenAI avisa de que robots.txt puede no aplicarse
Google-ExtendedGoogleEntrenamiento y grounding en Gemini y Vertex AISales de esos usos. No afecta a la búsqueda de Google
ClaudeBotAnthropicEntrenamientoTu contenido futuro queda fuera del entrenamiento
Claude-SearchBotAnthropicÍndice de búsquedaPuedes perder visibilidad en sus respuestas
PerplexityBotPerplexityBúsqueda; no entrenaPuedes dejar de salir en sus resultados
Meta-ExternalAgentMetaEntrenamiento e indexaciónSales de ambos usos, porque comparten nombre. Meta AI cita con otro bot, Meta-WebIndexer
Applebot-ExtendedAppleControla el entrenamiento; no rastreaSigues pudiendo aparecer en la búsqueda de Apple
CCBotCommon CrawlArchivo público de la webSales de ese archivo, que terceros pueden reutilizar

Google ha anunciado una señal común de entrenamiento para 2027, que explicamos en cómo separan Google y Bing entrenar y citar.

¿Qué errores dejan pasar a un bot donde no querías?

El principal es crear un grupo para un bot sin repetir las reglas generales. Según Google y el estándar, cada bot sigue solo el grupo más específico que le corresponde, y ese grupo no se suma al de *:

# Mal: GPTBot ignora el bloqueo de /admin/
User-agent: *
Disallow: /admin/

User-agent: GPTBot
Allow: /

Si solo quieres permitir, no crees el grupo: sin una regla que lo impida, el bot ya puede pasar. Si le pones un grupo propio, repite dentro todo lo que deba respetar. Otros tres errores comunes:

  • Bloquear por plantilla. Una lista copiada de internet puede incluir bots de búsqueda junto a los de entrenamiento.
  • Creer que User-agent: * con Disallow: / solo afecta a las IA. Afecta a cualquier bot sin grupo propio, incluido Googlebot.
  • Usar robots.txt para quitar una página de Google. Controla el rastreo, no la indexación. Para eso está noindex, y la página debe poder rastrearse para que Google lo lea. Tampoco bloquees URL de tu sitemap.

¿Qué plantilla de robots.txt te conviene?

Para una empresa que quiere captar clientes, recomendamos la opción 1: deja pasar a todos los bots, sin nombrarlos. Sustituye las rutas por las tuyas: /wp-admin/ solo tiene sentido en WordPress.

Opción 1: visible en buscadores y en IA

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap.xml

Opción 2: visible en respuestas, sin entrenamiento

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap.xml

Hemos dejado fuera dos decisiones que debes tomar aparte. Google-Extended frena también tu presencia en Gemini, y Meta-ExternalAgent mezcla entrenamiento e indexación. Añádelos solo si aceptas ese coste.

¿Y el llms.txt? robots.txt no tiene una directiva para declararlo. Como mucho, puedes mencionarlo en un comentario con #, que los bots ignoran. Es otro archivo con otra función, y lo explicamos en qué es el archivo llms.txt.

¿Qué bloquean las webs españolas?

El 31 de octubre de 2026 leímos el robots.txt público de 245 webs con presencia en España. De las 188 con un archivo legible, 40 bloquean por completo al menos un bot de IA (el 21 %), y 137 (el 73 %) no nombran a ninguno. Los medios concentran la mitad de los bloqueos.

Sectorrobots.txt leídosBloquean algún bot de IA%
Medios de comunicación362056 %
Salud, motor, inmobiliaria y servicios18528 %
Turismo y transporte12325 %
Administración pública23313 %
Marketing, alojamiento web y blogs33412 %
Comercio26312 %
Educación20210 %
Banca, seguros y suministros2000 %
Total1884021 %

Por bot, los más bloqueados son Bytespider (35), CCBot (33), ClaudeBot (27) y Amazonbot (27). Les siguen GPTBot (23), PerplexityBot (22), OAI-SearchBot (16) y Google-Extended (12).

El dato más llamativo: de las 23 webs que bloquean GPTBot, 16 también bloquean OAI-SearchBot. Es decir, además de rechazar el entrenamiento, piden no aparecer en la búsqueda de ChatGPT. Entre ellas hay medios como Marca y ABC, y organismos como el SEPE. En un medio puede ser una decisión deliberada; en una empresa que busca clientes, sería un error.

Cómo leer estos datos: elegimos las webs a mano, no al azar, así que el porcentaje describe esta muestra y no toda la web española. Contamos solo bloqueos completos (Disallow: /) de 13 bots nombrados, y no los parciales. 57 webs no devolvieron un archivo legible, y 29 de ellas respondieron con un error 403 a nuestra consulta.

¿Cómo comprobar que funciona?

Para comprobar robots.txt, sigue estos tres pasos:

  1. Ábrelo en una ventana privada. Google lo recomienda para confirmar que es público y que el contenido es el tuyo. Si usas Cloudflare o un plugin de seguridad, aquí verás lo que añaden.
  2. Revisa el informe de robots.txt en Search Console → Ajustes. Debe indicar «Obtenido» y no mostrar errores. Google suele guardar el archivo hasta 24 horas: si el cambio es urgente, solicita un nuevo rastreo desde ese informe.
  3. Mira si tu firewall deja pasar. robots.txt puede permitir a un bot que tu servidor bloquea. Busca sus visitas en los registros del servidor. Como prueba rápida, ejecuta curl -I -A "OAI-SearchBot" https://tudominio.com/: un 403 es señal de que hay un bloqueo por nombre, aunque algunos sistemas distinguen a los bots reales por su IP.

Recuerda el límite: el estándar deja claro que sus reglas no son una autorización de acceso, y TollBit estima que alrededor del 15 % de las lecturas de bots de IA ignoraron un bloqueo explícito en la primera mitad de 2026. Lo que no deba salir de tu web necesita usuario y contraseña.

Permitir el acceso no basta para que te citen: el resto está en cómo aparecer en ChatGPT. Si prefieres que lo revisemos por ti, lo hacemos en nuestra consultoría AEO.

Agaro Marketing
Escrito y revisado por

Agaro Marketing

Consultoría AEO y SEO técnico

En Agaro Marketing configuramos el SEO técnico de empresas en toda España. Los datos de este artículo son nuestros: leímos los archivos robots.txt el 31 de octubre de 2026.

SEO técnicoAEOrobots.txtSearch Console

Preguntas frecuentes

¿Es obligatorio tener un robots.txt?

No. Si el archivo no existe y el servidor responde con un 404, Google entiende que puede rastrear toda la web. Es recomendable tenerlo si necesitas excluir zonas de rastreo o declarar el sitemap, y debe responder bien: un error 5xx frena el rastreo.

¿Hay que permitir a GPTBot para salir en ChatGPT?

No. Según OpenAI, GPTBot sirve para el entrenamiento y OAI-SearchBot para la búsqueda de ChatGPT. Puedes bloquear el primero y permitir el segundo. Para salir en sus respuestas, lo que importa es no bloquear OAI-SearchBot ni impedirle el paso desde el firewall.

¿Bloquear Google-Extended me saca de AI Overviews?

No. Google-Extended controla el entrenamiento y el grounding en Gemini y Vertex AI. AI Overviews y AI Mode se controlan con un ajuste aparte en Search Console. Tampoco afecta a tu posición en la búsqueda.

¿Quieres que las IA puedan leer tu web?

Revisamos tu robots.txt, tu firewall y tu contenido, y te decimos qué te está dejando fuera de las respuestas de IA.

Quiero revisar mi web →