Amazon advierte que la supervisión humana de la IA ya no funciona

🧠 La confesión más honesta que he leído de una Big Tech

Llevo años cubriendo el debate sobre cómo controlar la inteligencia artificial, y el argumento que acaba de soltar Amazon es de los más honestos que he escuchado salir de una gran tecnológica. Según reporta The Next Web este 21 de junio, el vicepresidente de seguridad de Amazon expuso el problema con una claridad demoledora: cuando un revisor humano supervisa decisiones de IA que casi nunca fallan, su atención se degrada de forma inevitable.

No es un fallo de formación. No es negligencia. Es fisiología humana. La atención sostenida tiene límites biológicos, y cuando 498 de cada 500 decisiones son correctas, el cerebro sencillamente deja de buscar las 2 incorrectas. El fenómeno tiene nombre en psicología organizacional: normalización de la desviación — el proceso por el que los procedimientos de seguridad se convierten en rituales vacíos cuando la mayoría de los controles dan negativo.

Amazon lo combina con otro concepto igual de inquietante: la fatiga de alertas (alarm fatigue), ese agotamiento cognitivo ante un volumen de avisos que generan más ruido que señal. Es el mismo fenómeno que hace que los pilotos ignoren alarmas en cabina o que los médicos pasen por alto avisos de sistemas de monitorización. Solo que ahora hablamos de decisiones tomadas por IA que afectan a créditos, diagnósticos y moderación de contenido.

🏢 Google, Microsoft e IBM también están reconsiderando

Amazon no está solo en este diagnóstico. Google, Microsoft e IBM están reevaluando el modelo de revisión humana constante y moviéndose hacia algo más inteligente: en lugar de que un humano supervise todas las decisiones, los sistemas deberían clasificar automáticamente cada decisión por nivel de riesgo y concentrar la atención humana solo en las de mayor impacto potencial.

Este modelo alternativo se llama supervisión basada en riesgo y funciona con tres niveles:

• Bajo riesgo: la IA opera de forma autónoma con auditoría periódica.
• Riesgo medio: revisión humana por muestreo estadístico.
• Alto riesgo: aprobación humana obligatoria en cada decisión — aquí sí, sin atajos.

Es una lógica de priorización del capital atencional humano, que es finito, frente a la escala de las decisiones de IA, que no lo es. Y tiene todo el sentido del mundo: si tienes 10 revisores para 50.000 decisiones diarias, más te vale que estén mirando las 200 que de verdad pueden hacer daño.

🇪🇺 La trampa del EU AI Act

Aquí es donde la cosa se pone interesante desde el punto de vista regulatorio. El EU AI Act, en plena aplicación desde 2026, clasifica los sistemas de IA de alto riesgo y exige supervisión humana significativa para ellos. La advertencia de Amazon complica el cumplimiento teórico de esa norma: si la supervisión humana constante no funciona en la práctica, los sistemas que la regulación considera seguros por tener un humano en el bucle pueden estar asumiendo un falso riesgo controlado.

No estoy diciendo que eliminemos la supervisión humana. Digo que la regulación asume que "humano en el bucle = seguro" y Amazon acaba de demostrar que esa ecuación es falsa cuando se aplica a escala. El regulador europeo va a tener que replantearse qué significa exactamente "supervisión humana significativa" si queremos que no sea un checkbox burocrático.

🤖 Los agentes autónomos agravan el problema

Y aquí viene la capa adicional que me preocupa de verdad. Los agentes de IA en 2026 ya operan con permisos impensables hace dos años: acceso a tu calendario, a tu correo, a sistemas de pago, a comunicaciones internas. Según el AI Agent Index 2025, el 62% de las empresas ya experimenta con agentes autónomos, pero el índice de aprobación humana de cada acción es cada día más nominal.

Piensa en Gemini con acceso a tu correo, tu calendario y tus fotos para generar una respuesta contextual. Las decisiones que toma son decenas o centenares por interacción. Pedir aprobación humana de cada una no es solo ineficiente; es incompatible con el propio funcionamiento del sistema. La advertencia de Amazon formaliza algo que muchos equipos de IT ya habían notado en la práctica: el human-in-the-loop se ha convertido en teatro de seguridad.

💭 Mi opinión: esto no va de eliminar humanos, va de rediseñar la supervisión

Lo que más me convence de este diagnóstico es la honestidad empírica. La normalización de la desviación es un fenómeno documentado en aviación, medicina nuclear y gestión de riesgos desde hace décadas. Diane Vaughan lo describió magistralmente tras el desastre del Challenger en 1986. Que las mismas dinámicas afecten ahora a la supervisión de IA no debería sorprender a nadie que haya trabajado en un centro de operaciones o en un equipo de moderación de contenido a escala.

Lo que me preocupa de verdad es la velocidad de adopción de sistemas agentivos versus la velocidad de desarrollo de marcos de gobernanza robustos. Si el estándar de supervisión humana constante ya no funciona y el estándar basado en riesgo aún no está definido ni regulado, hay una ventana temporal en la que estos sistemas operan con supervisión degradada y sin alternativa clara. Y esa ventana se está cerrando más despacio de lo que se está abriendo la de adopción.

La alternativa que están explorando Amazon, Google y Microsoft requiere un trabajo previo más exigente: definir con mucha más precisión qué tipos de decisiones son de alto riesgo, construir sistemas técnicos que detecten automáticamente cuándo una decisión cae en esa categoría, y diseñar interfaces de revisión que concentren la atención del revisor en los puntos de mayor impacto. Es una inversión en gobernanza más cara a corto plazo, pero infinitamente más eficaz que la revisión universal que la mayoría practica hoy.

🎯 Lo que esto significa para ti

Si trabajas con IA en tu empresa — ya sea implementando un chatbot, un sistema de scoring o un agente autónomo — la pregunta ya no es "¿tenemos un humano revisando esto?". La pregunta correcta es: "¿nuestro humano sigue prestando atención de verdad o solo está mirando la pantalla?"

Y si la respuesta te incomoda, enhorabuena: es que has entendido el problema.