La pregunta ya no es teórica. Desde que OpenAI lanzó GPTBot en agosto de 2023 y Google introdujo Google-Extended, los propietarios de sitios web tienen por primera vez herramientas estándar para decidir qué bots de IA pueden rastrear su contenido. La decisión tiene implicaciones SEO reales que conviene entender antes de bloquear o permitir todo por defecto.
Los bots de IA más relevantes
Los principales bots de IA que rastrean la web en 2024 tienen identificadores de user-agent propios, lo que permite bloquearlos de forma individual:
- GPTBot (OpenAI): usa los datos para entrenar modelos como GPT-4 y ChatGPT.
- Google-Extended: controla si tu contenido se usa para entrenar los modelos generativos de Google, independientemente de Googlebot.
- CCBot (Common Crawl): fuente de datos para proyectos de IA en investigación académica y startups.
- Claude-Crawl (Anthropic): rastreador de Anthropic para el entrenamiento de Claude.
- PerplexityBot: rastreador del buscador conversacional Perplexity AI.
Razones para permitir los bots de IA
Visibilidad en respuestas generativas
Si tu sitio aparece como fuente en las respuestas de ChatGPT, Perplexity o los AI Overviews de Google, eso puede traer tráfico de referencia y mejorar la autoridad percibida de tu marca. Bloquear los bots de IA puede suponer que tu contenido no sea citado en esas respuestas. El impacto de los resultados generativos en el funnel SEO afecta directamente a esta decisión: para marcas que quieren ser referentes en su sector, estar en las fuentes que citan los LLMs tiene valor estratégico real.
Contribución al conocimiento del sector
Si los modelos de IA aprenden de tu sector a partir de tu contenido, tus conceptos y perspectivas tienen más probabilidad de aparecer como referencias en respuestas futuras. Para sitios con contenido de calidad y orientación de nicho, esto puede reforzar el posicionamiento de marca a largo plazo.
Razones para bloquear los bots de IA
Contenido de pago o exclusivo
Si tienes contenido detrás de un paywall, un área de miembros o material que no debería estar disponible en modelos de IA, bloquear GPTBot y similares es lo correcto. Los bots de IA no compran suscripciones ni respetan el contexto de acceso restringido.
Consumo de recursos del servidor
Algunos bots de IA no son tan respetuosos con el crawl delay como Googlebot. Si notas picos de carga en el servidor que coinciden con IPs de bots conocidos, bloquear por user-agent o IP puede resolver el problema sin afectar al SEO tradicional.
Protección de datos y GDPR
Si tu web recoge datos de usuarios o trabaja con información sensible, el rastreo indiscriminado puede generar problemas de cumplimiento. Las mismas precauciones que aplican para las vulnerabilidades de ciberseguridad en pequeñas empresas son relevantes aquí: controlar qué accede a tu web es parte de la higiene digital.
Cómo bloquear bots de IA: opciones concretas
robots.txt
Es el método estándar. Añadir estas líneas bloquea los bots más relevantes:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Claude-Crawl
Disallow: /
User-agent: PerplexityBot
Disallow: /La limitación es que robots.txt funciona por convención, no por obligación técnica. Los bots de empresas reconocidas lo respetan; los scrapers anónimos pueden ignorarlo.
Bloqueo a nivel de servidor o CDN
Si usas Cloudflare u otro CDN, puedes crear reglas de firewall basadas en el user-agent del bot para bloquear el acceso antes de que llegue al servidor. Este método es más efectivo que robots.txt porque actúa a nivel de red. Para sitios con tráfico alto, también reduce la carga que generan los bots sobre la infraestructura.
Meta tag noai en WordPress
Algunos bots respetan la etiqueta <meta name="robots" content="noai">. No es un estándar universal en 2024, pero a medida que se consoliden las regulaciones de derechos de autor para IA, más bots la implementarán. Plugins como Rank Math permiten añadir estas directivas sin tocar código.
La decisión estratégica: bot a bot
La postura más sensata no es bloquear todo ni permitir todo, sino decidir con criterio:
- Googlebot: nunca bloquear, es el que determina tu posicionamiento SEO.
- Google-Extended: evaluar si quieres que tu contenido entre en los modelos generativos de Google.
- GPTBot: decidir si quieres aparecer como fuente en ChatGPT.
- CCBot: bloquear si no tienes interés en contribuir a datasets de investigación sin control.
- PerplexityBot: permitir si quieres aparecer en las respuestas de Perplexity como fuente citada.
Cómo WordPress se adapta a la inteligencia artificial en términos de contenido y arquitectura también influye en esta decisión: un sitio estructurado para ser legible por IA es más fácil de bloquear de forma selectiva.
Preguntas frecuentes sobre bots de IA
¿Bloquear GPTBot afecta al SEO de Google?
No. GPTBot y Googlebot son bots distintos con propósitos distintos. Bloquear GPTBot no afecta a tu posicionamiento en los resultados de búsqueda tradicionales de Google.
¿Todos los bots de IA respetan el robots.txt?
Los bots de empresas reconocidas (OpenAI, Google, Anthropic) respetan robots.txt. Los scrapers anónimos o proyectos de menor reputación pueden ignorarlo. Para estos últimos, el bloqueo a nivel de servidor o CDN es más efectivo.
¿Qué pasa si no hago nada?
Si no tienes reglas en robots.txt para bots de IA, el comportamiento por defecto es que pueden rastrear todo lo accesible públicamente. No es necesariamente malo, pero es conveniente tener una política consciente en lugar de dejar el acceso por defecto.
¿Puedo bloquear bots de IA en WordPress sin tocar el servidor?
Sí. Puedes editar el robots.txt desde el panel de Rank Math o Yoast SEO, o añadir las reglas directamente en el archivo a través del editor de archivos del hosting. Rank Math incluye un editor de robots.txt integrado en Ajustes generales.
