Bloquear un crawler de inteligencia artificial en robots.txt solo funciona si ese crawler decide respetar la regla, porque el archivo es una señal voluntaria y no un mecanismo de aplicación técnica.
Bloquear a nivel de servidor, vía WAF, CDN o reglas directas, sí impide el acceso independientemente de si el bot coopera o no.
¿Qué diferencia real hay entre bloquear vía robots.txt y a nivel de servidor?
El archivo robots.txt le pide a un crawler que no visite ciertas rutas, pero la petición depende por completo de que ese crawler la lea y decida obedecerla. Un bot bien identificado y con buena reputación suele respetarla.
Un bot que falsifica su user agent, o que simplemente no está programado para consultar el archivo antes de rastrear, la ignora sin que el sitio tenga forma de saberlo hasta que revisa sus logs de servidor.
El bloqueo a nivel de servidor cambia esa dinámica por completo. Un firewall de aplicaciones web analiza el comportamiento real de cada solicitud, detecta cuando un user agent está falsificado y puede rechazar la conexión antes de que llegue a entregar una sola página.
Un CDN intercepta la solicitud todavía más arriba en la cadena, lo que además ahorra ancho de banda porque el tráfico ni siquiera llega al servidor de origen.
Si tienes una necesidad clara de bloquear ciertos crawlers de inteligencia artificial, lo recomendable es subir lo más posible en la pila del servidor. Conviene bloquear primero desde el WAF si es posible, después desde el CDN, y dejar el bloqueo directo en el servidor como último recurso.
Helen Pollitt, Getty Images
Esa jerarquía tiene una lógica simple. Cuanto más arriba se aplica el bloqueo, menos recursos consume el intento fallido de un bot y menos expuesta queda la infraestructura propia del sitio ante un volumen alto de solicitudes automatizadas.
Para un sitio pequeño sin presupuesto para un WAF dedicado, la recomendación no deja de aplicar, solo cambia de forma. La mayoría de los proveedores de hosting compartido y casi todos los CDN gratuitos ya ofrecen alguna capa de reglas de bloqueo por user agent o por comportamiento, así que la opción de subir en la pila del servidor suele estar disponible incluso sin presupuesto adicional, siempre que alguien revise qué controles ya trae activados el plan que se está pagando.
¿Por qué robots.txt nunca fue pensado como una herramienta de seguridad?
Esta distinción no es nueva ni exclusiva de los crawlers de inteligencia artificial. Ya la explicamos al detallar qué es el robots.txt y cómo optimizarlo para SEO, donde ya señalamos que el archivo nunca fue diseñado como mecanismo de seguridad y que cualquier ruta bloqueada ahí sigue siendo técnicamente accesible para quien conozca la URL directa. Lo mismo aplica a los crawlers de inteligencia artificial que deciden ignorar la instrucción.
Un archivo robots.txt funciona como un cartel de acceso prohibido frente a una puerta que sigue abierta. Un bloqueo a nivel de servidor funciona como un candado real en esa misma puerta.
Search Engine Journal
La diferencia importa todavía más con crawlers de entrenamiento, porque su incentivo para respetar la regla es distinto al de un crawler de búsqueda tradicional. Un bot que indexa para responder preguntas depende de mantener buena relación con los sitios que rastrea.
Un bot que solo recolecta contenido para entrenar un modelo una vez no siempre tiene ese mismo incentivo de largo plazo.
Eso no convierte a robots.txt en una herramienta inútil. Sigue siendo la forma más simple de declarar intención frente a los bots que sí cooperan, y esa declaración también sirve como evidencia si un sitio necesita demostrar más adelante que nunca autorizó el rastreo de cierto contenido.
El problema aparece cuando un equipo trata esa declaración como si fuera, por sí sola, una barrera de acceso.
¿Qué crawlers de inteligencia artificial existen y por qué no se tratan igual?
No todos los bots de inteligencia artificial cumplen la misma función, y tratarlos como un bloque único suele llevar a decisiones equivocadas. OpenAI opera GPTBot para entrenamiento y OAI-SearchBot para búsqueda.
Anthropic opera ClaudeBot para entrenamiento, además de Claude-User y Claude-SearchBot para acciones en tiempo real dentro de una conversación. Google usa Google-Extended específicamente para controlar el entrenamiento de sus modelos, separado del rastreo que ya hace Googlebot para el buscador. Perplexity opera PerplexityBot para alimentar sus respuestas.
Esa misma lógica de separar función de bot llevó a Cloudflare a rediseñar su clasificación en tres categorías, que ya describimos al analizar la segunda fase de Content Independence Day y sus controles granulares para bots de inteligencia artificial.
Search indexa para responder preguntas después; Agent actúa en tiempo real en nombre de una persona, y Training recolecta contenido para entrenar o afinar un modelo.
Desde el 15 de septiembre de 2026, Cloudflare bloquea por defecto a los crawlers de categoría Agent y a los de categoría Training en los sitios con publicidad que protege, mientras mantiene permitido el acceso a los crawlers de categoría Search.
Cloudflare
Eso significa que un sitio detrás de Cloudflare puede estar bloqueando ya a buena parte de estos crawlers a nivel de servidor sin que nadie haya tocado su robots.txt, simplemente porque el proveedor cambió su configuración por defecto.
Antes de decidir qué reglas escribir manualmente, conviene revisar qué está bloqueando ya la capa de infraestructura, porque duplicar un bloqueo no es un problema, pero asumir que un crawler está permitido cuando en realidad ya lo bloquea el CDN sí lleva a diagnósticos equivocados.
Un caso frecuente es el de un sitio que nota una caída de menciones en respuestas de un asistente de inteligencia artificial y asume que perdió relevancia de contenido, cuando en realidad el crawler de ese asistente quedó bloqueado por un cambio de configuración en la capa de CDN que nadie relacionó con el síntoma.
Revisar los logs de acceso antes de sacar una conclusión sobre contenido evita ese tipo de diagnóstico equivocado.
¿Qué riesgo real tiene bloquear mal un crawler de inteligencia artificial?
El error más común no es dejar pasar a un crawler que se quería bloquear, sino bloquear por accidente a uno que se necesitaba mantener activo. Una regla de robots.txt mal escrita puede terminar deshabilitando una carpeta completa en vez de la ruta específica que se buscaba restringir.
Un disallow mal configurado en robots.txt puede ser catastrófico para la visibilidad de un sitio.
Search Engine Journal
El mismo riesgo existe a nivel de servidor, con un agravante adicional. Una regla de WAF pensada para bloquear un user agent falsificado puede terminar afectando también al crawler legítimo si ambos comparten rangos de IP o patrones de solicitud parecidos, algo que ya detallamos al revisar cómo proteger WordPress de ataques maliciosos con Cloudflare sin bloquear tráfico legítimo en el proceso.
Por eso, cualquier cambio de este tipo conviene probarlo primero en modo de solo registro, revisando los logs durante unos días antes de activar el bloqueo real. Ese paso intermedio es el que separa una decisión de seguridad bien ejecutada de una caída de tráfico que después toma semanas diagnosticar.
El mismo cuidado aplica al revisar la lista de user agents antes de bloquear cualquiera de forma masiva. Nombres parecidos entre un bot legítimo y uno que solo imita su identificación son más comunes de lo que parece, y confirmar la IP de origen contra los rangos publicados oficialmente por cada proveedor sigue siendo el único método confiable para distinguir a uno de otro antes de escribir una regla que se aplique a todo el tráfico entrante.
Preguntas frecuentes (FAQ)
1. ¿Es mejor bloquear crawlers de inteligencia artificial con robots.txt o con el servidor?
Depende de qué tan estricto necesite ser el bloqueo. El robots.txt sirve como señal para bots que cooperan, pero solo un bloqueo a nivel de WAF, CDN o servidor garantiza que el crawler no acceda aunque decida ignorar la regla.
2. ¿Por qué un crawler de inteligencia artificial puede ignorar mi robots.txt?
Porque el archivo depende de que el bot lo consulte y decida respetarlo de forma voluntaria. Un bot que falsifica su user agent, o que no está programado para leer el archivo antes de rastrear, no tiene ninguna barrera técnica que se lo impida.
3. ¿Qué diferencia hay entre GPTBot, ClaudeBot y Google-Extended?
Cada uno cumple una función distinta dentro de su propia empresa. GPTBot y ClaudeBot recolectan contenido para entrenamiento, Google-Extended controla específicamente el entrenamiento de los modelos de Google, y bots como Claude-SearchBot o OAI-SearchBot operan en tiempo real para responder consultas.
4. ¿Cloudflare ya bloquea crawlers de inteligencia artificial sin que yo lo configure?
Sí, desde el 15 de septiembre de 2026, Cloudflare bloquea por defecto a los crawlers de categoría Agent y Training en los sitios con publicidad que protege, aunque el sitio nunca haya tocado su robots.txt.
5. ¿Qué riesgo tiene bloquear mal un crawler de inteligencia artificial?
El riesgo principal es bloquear por accidente a un crawler legítimo, como Googlebot, si una regla de robots.txt o de WAF queda mal delimitada. Probar cualquier regla nueva en modo de solo registro antes de activarla reduce ese riesgo.
Solicita tu diagnóstico SEO y GEO gratuito
Si no tienes claro qué crawlers de inteligencia artificial están accediendo hoy a tu sitio, ni qué parte de ese acceso ya está bloqueada o permitida por tu proveedor de hosting o CDN, ese es el primer diagnóstico que conviene resolver antes de escribir una sola regla nueva. Cuéntanos qué stack usas y te ayudamos a revisar qué está pasando realmente en tus logs.