/ Guías prácticas · 4 min
¿Tu sitio bloquea la búsqueda con IA? Cómo revisar robots.txt en 5 minutos
Un archivo pequeño puede impedir que las herramientas de búsqueda con IA lean tus páginas, y muchos propietarios no saben que existe. Así puedes revisarlo.
Por el equipo de VISIBLA · Publicado el
¿Qué es robots.txt?
Un archivo de texto de tu sitio que indica a visitantes automatizados, llamados bots o rastreadores, qué páginas pueden leer. Buscadores y herramientas de IA lo revisan antes de visitar tu sitio.
Paso 1: abre tu archivo
En el navegador, escribe tu dominio seguido de /robots.txt, por ejemplo yourbusiness.com/robots.txt.
- Si ves una página de texto, ese es tu archivo.
- Si recibes un error, probablemente no tienes uno y los bots generalmente tienen permitido el acceso.
Paso 2: busca estos nombres
Estos son los bots de IA más relevantes:
| Bot | Empresa | Qué hace |
|---|---|---|
| OAI-SearchBot | OpenAI | Encuentra páginas para los resultados de búsqueda de ChatGPT |
| Claude-SearchBot | Anthropic | Encuentra páginas para los resultados de búsqueda de Claude |
| PerplexityBot | Perplexity | Encuentra páginas para las respuestas de Perplexity |
| GPTBot | OpenAI | Recopila contenido para entrenar modelos de IA |
Los tres primeros ayudan a encontrar y citar páginas. El último trata del entrenamiento de modelos, que es una decisión aparte.
Paso 3: lee las reglas
Las reglas vienen en pares: una línea User-agent indica el bot, y una línea Allow o Disallow indica qué puede hacer.
- User-agent: OAI-SearchBot seguido de Disallow: / bloquea ese bot en todo tu sitio.
- User-agent: * seguido de Disallow: / bloquea todos los bots, incluidos los buscadores. Esto es serio.
- Disallow: sin nada después, o Allow: /, permite el acceso.
Un archivo que permite la búsqueda con IA pero bloquea un bot de entrenamiento podría verse así:
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /Esto es solo un ejemplo. Tu archivo puede incluir otras reglas que necesita tu sitio.
Paso 4: revisa otras barreras para la IA
robots.txt no es la única barrera. Pregunta a tu proveedor web por:
- Configuración de seguridad o alojamiento que bloquea bots de IA automáticamente
- Requisitos de inicio de sesión en páginas que quieres que encuentren tus clientes
- Instrucciones noindex o nosnippet en páginas importantes
- Contenido que se carga solo con scripts y que algunos bots no pueden leer
Paso 5: corrige y vuelve a revisar
Si encuentras un bloqueo que no elegiste, pide a tu proveedor web que lo cambie. No edites robots.txt si no te resulta familiar: un pequeño error puede bloquear buscadores también. Después, ejecuta otra auditoría para confirmar el acceso de los bots.
Por qué importa para tu puntuación
Si las herramientas de búsqueda con IA no pueden acceder a tu página, no pueden citarla. Si robots.txt bloquea de forma verificable los tres rastreadores de búsqueda con IA, VISIBLA limita tu puntuación a 79. Bloquear rastreadores de entrenamiento no afecta la puntuación. Consulta cómo funciona la puntuación →
FAQ
¿Debería bloquear rastreadores de entrenamiento de IA?
Tú decides. Algunos negocios prefieren que su contenido no entrene modelos. Bloquear estos rastreadores no impide que las herramientas de búsqueda con IA te encuentren y citen, ni afecta tu puntuación VISIBLA.
¿Qué pasa si no tengo robots.txt?
Los bots generalmente pueden leer tu sitio. No necesitas crear uno solo para IA, pero conviene consultarlo con tu proveedor web.