Un token para vetar el entrenamiento de IA: qué cambia
El 30 de octubre, OpenAI, Google, Microsoft y Anthropic dijeron que respetarán un único token en el robots.txt para que una web pueda excluir su contenido del entrenamiento de modelos con una sola línea, según AI Weekly, citando a The Verge. Parece una nota técnica para webmasters. Para quien hace inteligencia competitiva, OSINT o prospección con datos, es una señal de hacia dónde se mueve el acceso a la información pública.
Qué se ha anunciado, exactamente
El token se llama __usage_ai-training. El propietario de un sitio escribe User-Agent: __usage_ai-training seguido de Disallow: / y, si quiere, añade excepciones con Allow:. Con eso expresa su preferencia ante los cuatro laboratorios a la vez, en lugar de mantener una regla por cada rastreador. John Mueller, de Google, afirmó que el token ayudará a los sitios a expresar sus preferencias ante varios proveedores en un solo paso, y que si un sitio lo usa sin nombrar a Google-Extended, Google lo interpretará como si lo hubiera bloqueado.
Los calendarios no coinciden. Anthropic dice que ya ha empezado a implementarlo; OpenAI habla de «los próximos meses»; Microsoft apunta al 1 de febrero de 2027; Google, a 2027. Microsoft añadirá además un ajuste aparte para el grounding, la recuperación de contenido en vivo que alimenta las respuestas de un chat, distinta del entrenamiento.
Lo que respalda el anuncio es un borrador individual de la IETF, «Machine-Readable Training Preference Signal», fechado el 30 de octubre de 2026, firmado por Kevin Kelley, de Anthropic, y con caducidad el 3 de mayo de 2027. Conviene decirlo sin adornos: un borrador individual no está avalado por la IETF ni tiene rango de estándar.
Lo que el token no hace
Tres límites, todos confirmados en la fuente. Primero, controla el entrenamiento, no el rastreo: los bots pueden seguir leyendo la página. Segundo, OpenAI lo describe como un mecanismo de coordinación y no como un control de seguridad, así que un scraper que no cumpla las normas puede ignorarlo. Tercero, cambiar el robots.txt no retira lo que ya está en conjuntos de datos o modelos entrenados.
Mi lectura: es un buen cambio de coste para el editor, que pasa de cuatro reglas a una, pero no es un muro. Si alguien le vende a su empresa que «con esto ya no nos entrenan», le está vendiendo más de lo que dice el texto.
Por qué importa a equipos de OSINT e inteligencia
La tendencia de fondo pesa más que el token. El mismo día, el resumen de The Neuron del 30 de octubre recoge que el CEO de Reddit, Steve Huffman, quiere una experiencia mayoritariamente con sesión iniciada para reducir el scraping, y que Amazon bloqueó en septiembre el acceso de un asistente de Meta a su tienda. Son hechos distintos, pero apuntan igual: las plataformas están levantando puertas donde antes había pasillos abiertos.
Esto es análisis propio, no un dato de las fuentes: quien construya su flujo de investigación sobre la premisa de que «lo público se puede rastrear siempre» tiene un riesgo creciente. Hay tres frentes donde se nota.
1. Fuentes que se cierran
Un contenido que hoy se recoge con un script puede pedir sesión mañana. Los equipos deberían inventariar qué fuentes alimentan sus informes recurrentes y cuáles dependen de acceso anónimo, y marcar las frágiles. Si un informe semanal depende de una sola página sin login, ese informe tiene fecha de caducidad.
2. Preferencias que hay que respetar
Leer un robots.txt es el mínimo en cualquier recopilación automatizada. Con el token, además, un sitio podrá decir qué uso admite. Si su herramienta alimenta un modelo propio con datos recogidos, registre la fecha de captura y la política vigente en ese momento. En una auditoría o una disputa, esa trazabilidad vale más que el volumen de datos.
3. Ventas con datos: menos recolección, más fuentes de primera mano
Para ventas B2B ocurre algo parecido. Los datos de contacto y las señales de intención que salen de scraping masivo son los primeros en degradarse cuando las plataformas se cierran. Gana peso lo que la empresa genera ella misma: conversaciones, uso del producto, eventos propios, datos de clientes con consentimiento. No es una cuestión de moral, es de durabilidad del activo.
El otro lado: editores que pierden tráfico
El anuncio no llega en el vacío. Según el mismo resumen de The Neuron, Reddit atribuye a la búsqueda con IA de Google una caída media de más de un millón de visitas semanales de referencia durante octubre, y Google tendría dificultades para monetizar ese modo de búsqueda. Es la versión de la parte afectada y conviene tomarla como tal: no demuestra por sí sola la causa, pero explica por qué los editores quieren palancas para decidir quién usa su contenido y con qué fin.
Aquí entra la distinción que Microsoft ha puesto sobre la mesa. Entrenar un modelo con una web y citarla en una respuesta en vivo son usos diferentes, con consecuencias económicas diferentes. Un editor puede aceptar lo segundo, porque devuelve algo de tráfico y atribución, y rechazar lo primero. Si la industria acaba separando ambos ajustes, quien explote datos web tendrá que preguntarse en cuál de los dos casos cae cada una de sus fuentes.
Un ejemplo práctico para un equipo comercial
Imagine un equipo de ventas B2B que alimenta su CRM con datos recogidos de directorios y perfiles públicos, y que usa un modelo para resumir la actividad de cada cuenta. Si una de esas fuentes pasa a exigir sesión o declara su preferencia de no entrenamiento, el equipo tiene dos problemas distintos: el flujo de datos se interrumpe y, además, la procedencia de lo ya almacenado queda en entredicho. Quien guardó la fecha de captura y las condiciones de acceso puede responder a ambos con calma. Quien no lo hizo, improvisa.
Qué haría un equipo esta semana
- Listar las diez fuentes externas de las que depende el trabajo y anotar cuáles exigen login, cuáles tienen API y cuáles solo se leen en abierto.
- Revisar el
robots.txtpropio: decidir si el sitio de la empresa quiere excluirse del entrenamiento y con qué excepciones, sabiendo que la señal es voluntaria y que los plazos son de 2026-2027. - Guardar con cada captura la URL, la fecha y las condiciones de acceso vigentes.
- Separar en los informes lo que procede de fuente abierta, lo que procede de acceso con cuenta y lo que es dato propio.
Qué conviene vigilar
Dos preguntas siguen abiertas. La primera es dónde trazará Microsoft la línea entre entrenamiento y grounding, y si los otros tres la adoptan. La segunda es si el borrador llega a ser estándar o se queda en una coordinación entre empresas sin respaldo formal. Hasta que se aclare, tratar el token como una palanca de negociación para editores, y no como una garantía, es lo más sensato.
Mi valoración: es una buena noticia pequeña. Ordena una parte del caos, pero no cambia que el acceso a la web abierta se estrecha poco a poco. Los equipos que documenten sus fuentes y reduzcan la dependencia de una sola vía de acceso llegarán mejor a 2027. En DAVMAC desarrollamos herramientas de inteligencia, análisis de datos y monitorización para empresas e instituciones; si quiere revisar cómo de expuestas están sus fuentes, puede contactarnos.