/ Investigación · Búsqueda con IA · Octubre 2026
¿Está el IBEX 35 preparado para la búsqueda con IA?
Leí el robots.txt de las 35 empresas del IBEX y luego llamé a la puerta de cada web diciendo ser Chrome, Googlebot, GPTBot, ClaudeBot y compañía. Mismo ordenador, misma IP, solo cambia el nombre. Para distinguir un bloqueo a la IA de un bloqueo a cualquier bot, me inventé un grupo de control: PlaceBot, el bot placebo.
Lo que no está en esta página: nada aprovechable. A qué bots deja pasar una web pública lo ve cualquier visitante. Un hallazgo de certificados del 4 de octubre no se reproducía el 6 y se descartó.
/ En resumen
Las cifras
/ El carrusel
El carrusel de LinkedIn
La versión de LinkedIn. Pulsa para ampliar.
/ 01 · Lo básico
Qué es estar "preparada" para la IA
No es tener un llms.txt. Es SEO de toda la vida: que un bot pueda entrar, leer la página sin JavaScript, entenderla y encontrarla. Más una decisión consciente sobre los bots de IA, que son de dos tipos:
| Tipo | Lee tu web para | Ejemplos | Si lo bloqueas |
|---|---|---|---|
| Entrenamiento | aprender (entrenar modelos) | GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider | No se usa para entrenar. Decisión legítima. |
| Búsqueda | citarte cuando alguien pregunta | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Desapareces de esas respuestas. |
| Usuario | abrir una página que pidió una persona | ChatGPT-User, Claude-User, Perplexity-User | Esa persona no puede leerte desde el chat. OpenAI avisa de que el robots.txt puede no aplicarse. |
Google-Extended no es un bot: es una palabra del robots.txt para el entrenamiento de Gemini y no afecta a Google Search ni a AI Overviews, que usan el Googlebot de siempre. Si bloqueas Googlebot o Bingbot, también sales de las IAs que se apoyan en ellos.
/ 02 · Lo que dicen
robots.txt: el cartel de la puerta
El robots.txt es una nota educada y se lee con las reglas del RFC 9309: si un bot no tiene grupo propio, manda el de User-agent: *. Inditex no tiene (redirige a la portada), así que son 34 archivos.
| Empresa | Web | Nombra bots de IA | Bloquea | llms.txt | JSON-LD | Palabras sin JS / con JS |
|---|---|---|---|---|---|---|
| Banco Santander | www.santander.com | · | · | no | · | 1326 / 986 |
| Inditex | www.inditex.com | sin robots.txt | · | no | · | 371 / 339 |
| Iberdrola | www.iberdrola.com | · | · | sí | · | 0 / 819 |
| BBVA | www.bbva.com | · | · | no | 4 | 1640 / 1030 |
| CaixaBank | www.caixabank.com | · | · | no | 2 | 820 / 883 |
| ArcelorMittal | corporate.arcelormittal.com | · | · | no | · | 992 / 729 |
| Endesa | www.endesa.com | · | · | sí | · | 3566 / 1534 |
| Aena | www.aena.es | · | · | no | · | 1491 / 678 |
| Ferrovial | www.ferrovial.com | · | · | no | 1 | 754 / 158 |
| Repsol | www.repsol.com | · | · | sí | 3 | 1640 / 796 |
| Naturgy | www.naturgy.com | · | · | no | 6 | 1428 / 787 |
| ACS | www.grupoacs.com | · | · | no | · | 1098 / 853 |
| IAG | www.iairgroup.com | · | · | no | · | 452 / 381 |
| Amadeus | amadeus.com | · | · | sí | · | 1595 / 1164 |
| Telefónica | www.telefonica.com | · | · | no | 4 | 944 / 723 |
| Banco Sabadell | www.grupbancsabadell.com | · | · | no | · | 1112 / 399 |
| Cellnex | www.cellnex.com | · | · | no | 6 | 2993 / 1310 |
| Bankinter | www.bankinter.com | ChatGPT-User GPTBot | · | sí | 4 | 8963 / 747 |
| Mapfre | www.mapfre.com | · | · | no | 4 | 2512 / 943 |
| Acciona | www.acciona.com | · | · | sí | · | 2178 / 410 |
| Indra | www.indragroup.com | Bytespider ClaudeBot ChatGPT-User | Bytespider | no | 3 | 823 / 780 |
| Puig | www.puig.com | · | · | no | 27 | 256 / 313 |
| Unicaja | www.unicajabanco.es | · | · | no | 1 | 1431 / 1361 |
| Redeia | www.redeia.com | · | · | no | · | 1785 / 733 |
| Merlin Properties | www.merlinproperties.com | · | · | sí | 5 | 341 / 218 |
| Acciona Energía | www.acciona-energia.com | · | · | no | · | 509 / 260 |
| Grifols | www.grifols.com | · | · | no | · | 1616 / 1061 |
| Logista | www.logista.com | ChatGPT-User GPTBot Google-Extended ClaudeBot PerplexityBot | · | sí | · | 543 / 483 |
| Enagás | www.enagas.es | · | · | sí | 3 | 1243 / 398 |
| Acerinox | acerinox.com | · | · | no | · | 859 / 112 |
| Fluidra | www.fluidra.com | · | · | no | · | 0 / 1543 |
| Sacyr | sacyr.com | · | · | no | 1 | 1310 / 854 |
| Colonial | www.colonial-sfl.com | · | · | no | · | 385 / 303 |
| Rovi | rovi.es | · | · | no | · | 5866 / 583 |
| Solaria | solariaenergia.com | · | · | no | · | 917 / 908 |
/ 03 · Lo que hacen
La puerta: mismo cliente, nueve nombres
El robots.txt es una petición; quien deja entrar o no a un bot es el cortafuegos. Pedí cada web con el mismo cliente y la misma IP, cambiando solo el User-Agent. Los casos dudosos los pasé dos veces, en orden aleatorio y con pausas de 5 segundos.
ok 200 con contenido · verif. 200 pero pantalla de verificación o casi vacía · 403 prohibido · 429 demasiadas peticiones · vacío: no probado. "Chrome" es el mismo cliente diciendo ser Chrome, no un navegador real.
| Empresa | CDN | Chrome | Googlebot | Bingbot | GPTBot | ClaudeBot | OAI-SearchBot | ChatGPT-User | PerplexityBot | PlaceBot |
|---|---|---|---|---|---|---|---|---|---|---|
| Banco Santander | Akamai + Imperva | ok | ok | ok | ok | ok | ok | ok | ok | |
| Inditex | Akamai | ok | ok | ok | ok | ok | ok | ok | ok | |
| Iberdrola | Akamai | verif. | 403 | 403 | 403 | 403 | 403 | 403 | 403 | 403 |
| BBVA | Akamai | ok | ok | ok | ok | ok | ok | ok | ok | |
| CaixaBank | Cloudflare | ok | 403 | 403 | ok | ok | ok | ok | ok | ok |
| ArcelorMittal | Cloudflare | 403 | 403 | 403 | 403 | 403 | 403 | 403 | 403 | |
| Endesa | Imperva | ok | ok | ok | ok | ok | ok | ok | ok | |
| Aena | Akamai | ok | ok | ok | ok | ok | ok | ok | ok | |
| Ferrovial | no se ve | ok | ok | ok | 403 | ok | ok | 403 | ok | ok |
| Repsol | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| Naturgy | Radware | verif. | verif. | verif. | verif. | verif. | verif. | verif. | verif. | verif. |
| ACS | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| IAG | Cloudflare | ok | ok | ok | ok | ok | ok | ok | ok | |
| Amadeus | Imperva | ok | ok | ok | ok | ok | ok | ok | verif. | |
| Telefónica | Cloudflare | ok | ok | ok | ok | ok | ok | ok | ok | |
| Banco Sabadell | Akamai | ok | ok | 403 | 403 | 403 | 403 | ok | 403 | 403 |
| Cellnex | Imperva | ok | ok | ok | ok | ok | ok | ok | ok | |
| Bankinter | Cloudflare | 403 | 403 | 403 | 403 | 403 | 403 | 403 | ok | |
| Mapfre | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| Acciona | no se ve | ok | 403 | 403 | 403 | 403 | 403 | 403 | 403 | ok |
| Indra | Cloudflare | ok | ok | ok | ok | ok | ok | ok | ok | |
| Puig | Cloudflare | 403 | 403 | 403 | 403 | 403 | 403 | 403 | ok | |
| Unicaja | Akamai | ok | 403 | 403 | 403 | 403 | 403 | 403 | 403 | ok |
| Redeia | Imperva | ok | ok | ok | ok | ok | ok | ok | ok | |
| Merlin Properties | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| Acciona Energía | no se ve | ok | 403 | 403 | 403 | 403 | 403 | 403 | 403 | ok |
| Grifols | F5 | ok | ok | ok | ok | ok | ok | ok | ok | |
| Logista | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| Enagás | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| Acerinox | Radware | verif. | ok | ok | ok | ok | ok | ok | ok | |
| Fluidra | Imperva | verif. | verif. | verif. | verif. | verif. | verif. | verif. | verif. | |
| Sacyr | no se ve | ok | 403 | ok | 403 | ok | ok | ok | ok | ok |
| Colonial | Cloudflare | ok | ok | ok | 403 | 403 | ok | ok | ok | ok |
| Rovi | no se ve | ok | ok | ok | ok | ok | ok | ok | ok | |
| Solaria | no se ve | ok | 429 | 429 | 429 | 429 | 429 | 429 | 429 | ok |
/ 04 · El placebo
PlaceBot, el grupo de control
En medicina, el grupo de control toma una pastilla de azúcar. Aquí el fármaco es el nombre del bot. PlaceBot es un bot honesto y desconocido: Mozilla/5.0 (compatible; PlaceBot/1.0; +https://www.linkedin.com/in/hache-cervera). Nadie tiene una regla para él.
Si cae GPTBot y también PlaceBot, la web frena a cualquier bot. Si PlaceBot entra pero un Googlebot falso no, frena a los suplantadores. Solo si entran los dos la regla va de verdad contra esa IA. Sin el placebo, las tres parecen "bloquean a la IA".
El giro: Bankinter y Puig echan al Chrome falso y dejan entrar a PlaceBot con todo el contenido. Mentir te cierra más puertas que ser un don nadie.
Las reglas miran el User-Agent exacto: en Colonial, un "GPTBot" a secas entra; la cadena oficial completa recibe 403.
/ 05 · Hallazgos
Lo que más me llamó la atención
- Iberdrola, la paradoja. El llms.txt más grande del índice (2,4 MB, 7.291 enlaces) y una puerta que da 403 a todos los nombres de bot, placebo incluido. Sin JavaScript, su portada tiene 0 palabras. Antibots general, no contra la IA, pero dice una cosa con el archivo y otra con el guardia.
- Colonial lo hace de libro, sin decirlo. Frena a los de entrenamiento (GPTBot, ClaudeBot) y deja pasar a los de búsqueda (OAI-SearchBot, ChatGPT-User, PerplexityBot). Todo en Cloudflare; su robots.txt no dice nada.
- Ferrovial probablemente filtra "GPT". Caen GPTBot y ChatGPT-User; OAI-SearchBot pasa. Es una hipótesis.
- Acciona, Acciona Energía, Unicaja. Echan a todos los bots famosos, también al Googlebot falso, y PlaceBot entra: contra suplantadores, no contra la IA.
- Sabadell y Solaria. Sabadell frena a Bingbot y a casi cualquier "…Bot/". Solaria responde 429 a cualquier bot conocido desde la primera visita.
- El llms.txt de Bankinter habla de bankintercard, su filial de consumo, no de Bankinter.
- Indra es la única que bloquea un bot en su robots.txt: Bytespider (ByteDance). Logista nombra a cinco bots de IA para invitarlos.
/ 06 · llms.txt
llms.txt es una propuesta de 2024
Lo propuso Jeremy Howard en septiembre de 2024: un Markdown corto en /llms.txt con título, resumen y enlaces clave, pensado para caber en el contexto de un modelo. Google dice que para salir en AI Overviews o AI Mode no hace falta crear "archivos de texto para IA", y John Mueller ha dicho que Google no lo usa. En una web corporativa es un dato curioso, no una nota.
/ 07 · Lista
¿Está una web preparada para la búsqueda con IA?
| Comprobar | Cómo |
|---|---|
| Entrar (cartel) | El robots.txt no bloquea a Googlebot, Bingbot ni a OAI-SearchBot, Claude-SearchBot o PerplexityBot. |
| Entrar (guardia) | curl.exe -s -o NUL -w "%{http_code}" -A "<User-Agent completo del bot>" https://web/ y lo mismo con un bot inventado. 403 frente a 200 es una regla por nombre. |
| Leer | DevTools, Disable JavaScript, recargar. El contenido tiene que seguir ahí. |
| Entender | Títulos y encabezados claros, respuestas en texto, JSON-LD. |
| Encontrar | Sitemap, enlaces internos, indexada en Google y en Bing. |
| Decidir | Permitir o bloquear a los de entrenamiento a sabiendas; no cambia la visibilidad en búsqueda. |
| Medir | Visitas desde IAs en la analítica y bots en los logs del servidor. |
/ 08 · Método
Las capas de seguridad y cómo las tuve en cuenta
| Capa | Qué hace | Cómo se tuvo en cuenta |
|---|---|---|
| CDN | Sirve y filtra el tráfico | Se anota el proveedor; nunca se lee como intención |
| Gestión de bots | Puntúa cada visita | Contar palabras, no solo códigos |
| Bots verificados | Deja pasar a los bots reales por IP | El límite: pruebo el nombre, no la IP |
| Antisuplantación | Frena bots famosos falsos | El placebo lo destapa |
| Huella del cliente | Comprueba que un "Chrome" se porta como Chrome | El Chrome falso es línea base, no un usuario |
| Desafío con JS | Pide ejecutar JavaScript antes | Marcado "verif.", no bloqueo a la IA |
| Límite de velocidad | Frena a quien va rápido | Pausas y orden aleatorio |
Entre 15 y 35 peticiones por web en dos días, solo la portada. El límite: los bots reales vienen de IPs verificadas y pueden recibir otra respuesta. Esto demuestra que hay reglas que miran el nombre del bot, no qué ve el GPTBot real.
Fuentes: Google: AI features and your website · Bots de OpenAI · La propuesta llms.txt · RFC 9309, robots.txt
/ Siguiente
Compruebo antes de publicar.
Los scripts los hice con ayuda de Claude. Los grupos de control, las segundas rondas y lo que descarté fueron cosa mía. Si tu equipo necesita a alguien que compruebe así, escríbeme.