Mientras lees esto, hay robots pidiendo las páginas de tu sitio que no son de Google.
Se llaman GPTBot, ClaudeBot, PerplexityBot y varios más. Son los rastreadores de las empresas de inteligencia artificial, llevan un par de años recorriendo internet y hoy están en los registros de acceso de prácticamente cualquier sitio publicado.
La pregunta que todo el mundo hace es si conviene bloquearlos. Y la respuesta corta es que depende de cuál, porque no todos hacen lo mismo, aunque casi nadie hace la distinción.
Esa distinción es todo el asunto. Vamos a ella.
Hay dos familias de robots, no una
Los que se meten a tu sitio se dividen en dos grupos con propósitos completamente distintos.
Los de entrenamiento. Recogen contenido para entrenar los modelos que vienen. Su visita de hoy no te trae ni una sola visita: lo que hacen es influir en lo que el modelo del próximo año sabe del mundo. Acá están GPTBot, ClaudeBot, Google-Extended, Applebot-Extended y CCBot.
Los de búsqueda en vivo. Alimentan el índice que se consulta en el momento en que alguien hace una pregunta. Cuando le preguntas algo a un asistente y te responde citando páginas con enlaces, esos enlaces salen de acá. En este grupo están OAI-SearchBot, Claude-SearchBot y PerplexityBot.
Y hay un tercer tipo, más chico, que aparece cuando un usuario pega tu enlace en el chat y el asistente va a leer esa página específica en ese instante.
La consecuencia práctica es la que casi nadie te dice: bloquear a los de entrenamiento te saca del modelo del año que viene, pero bloquear a los de búsqueda te saca de las respuestas de hoy.
Son decisiones distintas y mucha gente las toma juntas sin darse cuenta, copiando y pegando una lista de bloqueos que encontró en internet.
Quién es quién
Cada robot se identifica con un nombre propio cuando pide una página. Estos son los que vas a ver:
- GPTBot — OpenAI, entrenamiento.
- OAI-SearchBot — OpenAI, índice de búsqueda. Es el que alimenta las respuestas con enlaces.
- ChatGPT-User — visita puntual, cuando alguien pide que se lea una página concreta.
- ClaudeBot — Anthropic, entrenamiento.
- Claude-SearchBot — Anthropic, búsqueda.
- PerplexityBot — Perplexity, búsqueda.
- Google-Extended — Google. No afecta tu posición en el buscador de siempre, solo el uso de tu contenido en sus productos de inteligencia artificial.
- Applebot-Extended — Apple, equivalente al anterior.
- CCBot — Common Crawl, un archivo público que muchos modelos usan como materia prima.
Los nombres cambian y aparecen nuevos cada cierto tiempo, así que conviene mirar la documentación de cada empresa antes de escribir una regla, en vez de copiar una lista vieja.
Cómo saber si te están visitando
No hay que adivinar. En cPanel tienes dos formas de verlo.
La primera es Métricas → Registros de acceso sin procesar. Descargas el archivo y buscas dentro los nombres de la lista de arriba. Cada línea es una petición, con la fecha, la dirección desde donde vino y la página que pidió.
La segunda, más cómoda si no quieres leer un archivo de texto enorme, es Métricas → Awstats, en la sección de robots. Te da el resumen de qué rastreadores entraron y cuánto pidieron.
Vale la pena mirarlo aunque no vayas a cambiar nada. Es tu sitio y son datos tuyos.
Cómo se les dice que pasen o que no
Todo se controla desde un archivo de texto llamado robots.txt, que vive en la raíz de tu sitio. Puedes ver el de cualquier página agregando /robots.txt al final del dominio.
La regla se escribe usando el nombre del robot. Para bloquear a los de entrenamiento y dejar entrar a los de búsqueda, por ejemplo, sería algo así:
User-agent: GPTBotseguido deDisallow: /User-agent: ClaudeBotseguido deDisallow: /User-agent: OAI-SearchBotseguido deAllow: /User-agent: PerplexityBotseguido deAllow: /
Y acá viene la advertencia honesta, que es la parte que los artículos sobre este tema suelen saltarse.
robots.txt es una señal de cortesía, no un candado. Las empresas grandes declaran públicamente que lo respetan, y en general lo hacen. Pero es una convención voluntaria, y se han documentado casos de rastreadores que la ignoran.
Si de verdad hay contenido que no quieres que nadie lea, no basta con pedirlo por escrito: hay que ponerlo detrás de una contraseña. Todo lo que está publicado y abierto, está publicado y abierto.
Entonces, ¿bloquear o no?
Depende de qué vendes, y la respuesta honesta para la mayoría de los negocios chilenos no es la que se ve en los titulares.
Si tu sitio existe para que te encuentren y te contraten —una pyme de servicios, un taller, una consulta, una tienda, un profesional independiente— no bloquees a nadie, y menos a los de búsqueda. Tus clientes ya están preguntándole a un asistente qué proveedor elegir. Que tu sitio no esté disponible para responder esa pregunta no te protege de nada: solo te deja fuera de la conversación.
El contenido que estás cuidando, además, ya está público. Cualquier persona puede leerlo entrando a tu página.
Si tu contenido es el producto —un medio que vive de las visitas, cursos, una base de datos que costó años armar, material que se paga para acceder— la decisión es la contraria, y tiene sentido bloquear a los de entrenamiento y dejar solo a los de búsqueda, que al menos te devuelven el enlace.
El punto intermedio, que es donde cae casi todo el mundo: abierto para los de búsqueda, y los de entrenamiento los decides con calma. No es una decisión permanente y se puede cambiar cuando quieras.
Sobre el archivo llms.txt
Vas a escuchar hablar de llms.txt, un archivo pensado para entregarle a los modelos un resumen ordenado de tu sitio.
Seamos precisos, porque en esto hay mucho entusiasmo suelto: es una propuesta, no un estándar adoptado. Ninguna empresa grande de inteligencia artificial se ha comprometido públicamente a usarlo.
Dicho eso, ponerlo cuesta muy poco: es un archivo de texto con la descripción de tu sitio y los enlaces a tus páginas principales. Si la convención prospera, quedaste listo. Si no prospera, perdiste veinte minutos. Es una apuesta barata, y hay que presentarla como lo que es y no como una obligación.
Lo que sí mueve la aguja
Dejar entrar a los robots es el permiso, no el logro. Que un asistente te cite depende de otras cosas:
- Que tengas contenido propio y concreto. Precios o rangos, cómo funciona tu servicio paso a paso, quién atiende, preguntas frecuentes reales. Los textos genéricos no se citan porque no aportan nada que no esté en otros mil sitios.
- Que la información sea fácil de extraer. Encabezados claros, respuestas directas debajo de cada pregunta, listas en vez de párrafos eternos.
- Que el sitio cargue rápido y esté en HTTPS. Lo mismo que ya te sirve para Google.
- Que la información se repita igual en todas partes. Tu nombre, dirección y teléfono idénticos en el sitio, en la ficha de Google y en tus redes.
- Que sea tu sitio. Un perfil en una plataforma ajena no lo controlas tú.
Preguntas rápidas
¿Bloquear a GPTBot afecta mi posición en Google? No. Son robots distintos con reglas distintas. Bloquear Google-Extended tampoco afecta tu posición en el buscador: solo el uso de tu contenido en los productos de inteligencia artificial de Google.
¿Los rastreadores de IA me consumen recursos del hosting? Consumen, como cualquier visita. En un sitio normal es un porcentaje menor del tráfico y no se nota. Si tienes un sitio muy grande y ves un consumo desproporcionado, ahí sí conviene mirarlo.
¿Cómo edito el robots.txt en WordPress? Los complementos de SEO traen un editor. También puedes subir el archivo directamente a la raíz del sitio desde el administrador de archivos de cPanel.
¿Y si me copian el contenido? Bloquear rastreadores no impide que una persona copie y pegue tu texto. Contra eso lo que sirve es publicar primero y que tu sitio sea reconocible como la fuente.
Qué hacer esta semana
Entra a tu robots.txt y mira qué dice. Si nunca lo tocaste, lo más probable es que esté abierto, y para la mayoría de los negocios eso está bien.
Después métete a los registros de acceso de tu cPanel y busca los nombres de este artículo. Vas a encontrarlos, y es sano saber quién entra a tu casa.
En AltaHosting revisamos esto como parte de la puesta a punto de un sitio: qué robots están entrando, si el robots.txt dice lo que tú crees que dice y si tus mapas del sitio están declarados donde corresponde. Si quieres que lo miremos contigo, escríbenos.
