El Gobierno español ultima el proyecto de ley de inteligencia artificial que pretende convertirse en la primera legislación nacional en trasponer y complementar el Reglamento Europeo de IA con una particularidad: dedica un capítulo entero a los casos documentados de algoritmos que han causado daños reales a personas. No es teoría. La norma se construye sobre tragedias concretas ocurridas en los últimos cinco años, desde sistemas de detección de fraude que arruinaron a familias enteras hasta herramientas de selección de personal que discriminaron sistemáticamente a mujeres. La ley quiere asegurarse de que no vuelva a pasar.
La Agencia Española de Supervisión de la IA (AESIA), con sede en La Coruña, ha recopilado un catálogo de más de cuarenta incidentes internacionales con los que justifica la necesidad de una regulación estricta. El resultado es un texto que va más allá de la AI Act europea en aspectos clave como la auditoría obligatoria de algoritmos de alto riesgo, la responsabilidad civil de las empresas desarrolladoras y la creación de un registro público de sistemas de IA desplegados en territorio nacional. Según ha adelantado la Cadena Onda Cero, la norma establece multas de hasta el 7% de la facturación anual para las compañías que incumplan los requisitos de transparencia y supervisión humana.
SyRI: el algoritmo que aplastó a los más pobres
El caso que más ha influido en la redacción de la ley es el sistema SyRI (System Risk Indication) de Países Bajos. Este algoritmo, diseñado para detectar fraudes en prestaciones sociales, analizaba datos de miles de ciudadanos —consumo de energía, historial de deudas, padrón municipal, movimientos bancarios— para generar un perfil de riesgo. Quienes recibían una puntuación alta perdían automáticamente sus ayudas o eran sometidos a inspecciones fiscales exprés. En 2020, un tribunal de La Haya declaró el sistema ilegal por violar el artículo 8 del Convenio Europeo de Derechos Humanos, que protege la vida privada y familiar. El fallo sentenció que el algoritmo era "demasiado opaco para que los ciudadanos pudieran defenderse" y que sometía a las personas más vulnerables a una vigilancia desproporcionada sin ninguna garantía procesal.
El caso SyRI no es aislado. En Australia, el sistema Robodebt —un algoritmo que cruzaba datos de ingresos declarados con estimaciones automatizadas para generar deudas de la seguridad social— provocó que más de 400.000 personas recibieran reclamaciones de pago falsas entre 2015 y 2020. La comisión de investigación real que analizó el caso describió el sistema como "cruel, injusto y a sabiendas defectuoso". El Gobierno australiano tuvo que devolver más de 1.800 millones de dólares y cerrar el programa. La AESIA cita expresamente este precedente en la exposición de motivos de la ley española como ejemplo de un algoritmo perverso que se mantuvo operativo durante años pese a las evidencias de su fallo sistémico.
El sesgo de clase y raza que se esconde en los datos
La ley española también aborda el sesgo algorítmico, uno de los problemas más difíciles de resolver técnicamente. En Estados Unidos, el sistema COMPAS, utilizado por los tribunales para predecir la probabilidad de reincidencia de los acusados, demostró tener un sesgo racial sistemático: los acusados de raza negra recibían puntuaciones de riesgo un 45% más altas que los blancos con el mismo historial delictivo. Un análisis de ProPublica reveló que el algoritmo acertaba menos que un jurado popular y que sus predicciones eran especialmente poco fiables con mujeres y minorías. El caso impulsó las leyes de transparencia algorítmica en varios estados de EE.UU. y ahora sirve como advertencia en la tramitación parlamentaria española.
Amazon también protagonizó uno de los episodios más sonados. En 2018, la compañía retiró su herramienta de reclutamiento con IA después de descubrir que penalizaba sistemáticamente los currículums de mujeres. El algoritmo, entrenado con diez años de contrataciones de la empresa —mayoritariamente hombres—, había aprendido a asociar palabras como "mujer" o "femenino" con perfiles no deseados. Amazon aseguró que intentó corregir el sesgo, pero el propio sistema encontraba formas de reintroducirlo. Finalmente, decidió enterrar el proyecto. La AESIA utiliza este caso para ilustrar que un algoritmo perverso no necesita ser malintencionado: le basta con reproducir los sesgos del mundo real para causar daño.
España no es inmune: el caso del Ingreso Mínimo Vital
La ley no solo mira al exterior. En España, la implantación del Ingreso Mínimo Vital (IMV) en 2020 dejó al descubierto cómo los algoritmos públicos pueden fallar cuando no están bien diseñados. Miles de solicitudes fueron denegadas automáticamente por sistemas de verificación de datos que no distinguían entre una incoherencia real y un error burocrático. Organizaciones como la Plataforma de Afectados por el IMV documentaron casos de personas en situación de exclusión que recibieron denegaciones sin posibilidad de recurso efectivo porque no existía un proceso de revisión humana. El Defensor del Pueblo abrió una investigación y el Gobierno tuvo que modificar el sistema, pero el daño ya estaba hecho.
La nueva ley de IA española introduce la obligación de que todos los sistemas automatizados empleados por la Administración Pública superen un test de impacto algorítmico antes de su despliegue. Este test, similar al que exige la AI Act para sistemas de alto riesgo, evaluará el potencial de discriminación, el nivel de supervisión humana y la transparencia del modelo. La AESIA será la encargada de realizar estas auditorías y podrá paralizar el uso de cualquier algoritmo público que no supere los controles.
La respuesta legal: auditorías, sanciones y un registro público
El proyecto de ley, que el Gobierno espera tener aprobado antes de finales de 2026, establece tres pilares fundamentales. El primero es la auditoría obligatoria de algoritmos: cualquier sistema de IA considerado de alto riesgo —salud, justicia, prestaciones sociales, contratación, vigilancia— deberá someterse a una evaluación independiente antes y después de su puesta en funcionamiento. El segundo es la creación de un registro público de sistemas de IA donde las empresas deberán inscribir sus algoritmos, describir su funcionamiento y declarar los datos con los que han sido entrenados. El tercero es un régimen sancionador que prevé multas de hasta el 7% de la facturación anual para las infracciones más graves, superando incluso los topes establecidos en el Reglamento Europeo.
La norma también introduce la figura del "responsable de supervisión humana", una persona física designada por la empresa desarrolladora que será personalmente responsable de garantizar que el algoritmo no actúa sin control. Esta figura responde directamente a uno de los problemas detectados en los casos de algoritmos perversos: la ausencia de un responsable claro cuando el sistema causa daño. Si un algoritmo deniega una prestación social injustamente, la empresa no podrá alegar que fue un error técnico porque la ley obliga a que haya una persona capaz de intervenir y rectificar.
La industria tecnológica ha reaccionado con cautela. Google, Microsoft y Meta han enviado alegaciones al Ministerio de Transformación Digital advirtiendo de que las auditorías obligatorias podrían ralentizar el despliegue de la IA en España y poner al país en desventaja competitiva frente a otros mercados. Sin embargo, desde la AESIA responden que la experiencia internacional demuestra que los algoritmos perversos no se corrigen solos. "No se trata de frenar la innovación, sino de evitar que la innovación se coma a las personas", declaró a Onda Cero uno de los redactores del proyecto de ley.
Lo que viene: una ley con efecto ejemplarizante
La ley española de IA aspira a convertirse en un referente dentro de la Unión Europea. Países como Francia, Alemania e Italia siguen el debate parlamentario con interés porque el enfoque español —basado en casos reales, auditorías obligatorias y responsabilidad personal— va más allá de lo que exige Bruselas. Si la ley se aprueba, España se convertirá en el primer país de la UE en exigir un registro público obligatorio de algoritmos, un test de impacto previo para todos los sistemas públicos y sanciones que pueden alcanzar el 7% de la facturación global de una empresa. La AI Act europea, que entra en plena vigencia en 2027, marca el suelo. España quiere poner el techo.
Para los ciudadanos, el impacto será tangible. Cuando una administración utilice un algoritmo para decidir quién recibe una ayuda, el sistema tendrá que ser auditable, transparente y recurrible. Cuando una empresa despliegue un sistema de IA para seleccionar candidatos, tendrá que demostrar que no discrimina. Y cuando un algoritmo cause daño, habrá una persona responsable, un proceso de reclamación y, si es necesario, una sanción que disuada a otros de repetir el error. SyRI, Robodebt, COMPAS y el resto de casos que han inspirado la ley demuestran que la tecnología no es neutral. La nueva ley española de IA lo reconoce por primera vez de forma explícita.