Blog

Primera sentencia Europea contra el uso de algoritmos

El tribunal distrito de La Haya ha dictado sentencia en contra de un sistema algorítmico utilizado por el Gobierno de los los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda.

El tribunal encuentra que el algoritmo:

  • No cumple con el «equilibrio justo» que debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada
  • Tiene un efecto significativo en la vida privada de la persona a la que se refiere.
  • Considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado.
  • No prevé ninguna obligación de información a las personas cuyos datos se tratan.
  • Tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Como consecuencia, el tribunal concluye que:

  • Es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste.
  • Circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Comentarios a la sentencia del Diario La Ley

El tribunal distrito de La Haya declara que el sistema establecido por el gobierno holandés para valorar el nivel de riesgo de defraudación de los ciudadanos, no cumple las exigencias de proporcionalidad, carece de transparencia y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos.

El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos, por lo que es contrario a la ley.

Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluación de características personales de los ciudadanos. Su difusión ha coincidido, además, con el anuncio de la Comisión de que en breves fechas va a presentar una propuesta de regulación de la IA en la Unión, y con una recientísima decisión del Parlamento Europeo por la que solicita a la Comisión que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protección de los consumidores y la libre circulación de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicación por la AEPD de la Guía de Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial.

Los Hechos

Según la sentencia, cuyo texto está disponible en neerlandés, el denominado Sistema de Indicación de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerlandés utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.

El sistema se basa en la asignación del nivel de riesgo de que una determinada persona cometa fraude a los ingresos públicos, en función de una serie de parámetros analizados y relacionados entre sí.

Esta medida, instaurada a solicitud de determinadas agencias y organismos públicos, a la vista del elevado volumen de fraude detectado en el país, se basa en la denominada Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo artículo 65.2 permite la elaboración de informes de riesgos para evaluar el riesgo de que una persona física o jurídica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos públicos.

De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género y características administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida información sobre bienes muebles e inmuebles; datos sobre motivos de exclusión de asistencia o beneficios; datos comerciales; datos de integración, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integración a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligación de reintegro de prestaciones públicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realización de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona está asegurada en virtud de la Ley de seguro de salud.

El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los números de seguridad social y las direcciones por un código (seudónimo). A continuación se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, física o jurídica, o una dirección, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del análisis de riesgos por una unidad de análisis específica. En la segunda fase, los datos descifrados son analizados por esta unidad de análisis, que asigna un nivel de riesgo definitivo.

La decisión del tribunal

Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y según la sentencia del tribunal local de La Haya, la legislación que sustenta la aplicación de este algoritmo, no cumple con el requisito establecido en el Artículo 8, párrafo 2 del CEDH, de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democrática. Es decir, que sea necesaria y proporcional en relación para el propósito previsto.

En particular, estima que esta legislación no cumple con el «equilibrio justo» (fair balance, en el original) que de acuerdo con el CEDH debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada que supone, para poder estimar suficientemente justificada esta intromisión.

En su evaluación, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protección de datos en virtud del Derecho de la Unión (la CEDH y el RGPD), en particular en los principios de transparencia, de limitación del tratamiento de minimización de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.

Efectos del informe de riesgos sobre la vida privada de las personas

En opinión del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere.

El tribunal también deriva esa conclusión de las directrices del Grupo de Trabajo del artículo 29 del de Protección de Datos de 4 de diciembre de 2008, según las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso más extremo, conducir a su exclusión o discriminación.

Una finalidad legítima, perseguida por unos medios desproporcionados

El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Países Bajos justifica la aplicación de mecanismos de control y supervisión que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnologías proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisión más efectiva.

Pero, añade, en este desarrollo, el derecho a la protección de datos es cada vez más importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilación y el análisis de datos con la ayuda de estas nuevas tecnologías puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.

Falta de transparencia del algoritmo

El principio de transparencia es el principio rector de la protección de datos que subyace y está consagrado en la CEDH y en el RGPD (arts. 5.1 a) y 12).

El tribunal considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.

Además, aprecia que la normativa reguladora del algoritmo no prevé ninguna obligación de información a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Relevancia de la falta de transparencia

Como resultado de lo anterior, concluye el tribunal, es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Macron durante discuros sobre IA y redes digitaless

El día 7 de febrero, el presidente Emmanuel Macron dio un discurso en la «École de Guerre». Era la primera vez desde De Gaulle que un presidente francés, sentaba, en tanto que comandante de los ejércitos nacionales, la doctrina militar frente a los mandos y cuadros de las fuerzas armadas y de seguridad.

La razón era establecer y responder a una serie de rupturas, que hemos visto emerger y ahora consolidarse, durante los últimos cinco años, que en conjunto producen un cambio global de la profundidad e importancia equivalentes a las de la caída del bloque soviético en 1989-92. Estas tres rupturas son de orden estratégico (competencia entre EEUU y China), jurídico (crisis del multilateralismo y el orden legal internacional) y finalmente, tecnológico.

La tecnología es, de hecho, un problema, un perturbador y un árbitro de los equilibrios estratégicos al mismo tiempo. El despliegue de 5G, la nube para el almacenamiento de datos, así como los sistemas operativos son ahora infraestructuras estratégicas en el mundo de hoy. En los últimos años, sin duda hemos considerado con demasiada frecuencia que se trata de soluciones comerciales, simplemente industriales o comerciales, mientras que estamos hablando de infraestructuras estratégicas para nuestras economías, obviamente, y para nuestros ejércitos.

La aparición de nuevas tecnologías, como la inteligencia artificial, las aplicaciones de la física cuántica y la biología sintética, ofrece muchas oportunidades, pero también una fuente de inestabilidad futura.

La tecnología digital es una fuente de innovación sin límites, e inspira todos los entornos físicos. Al convertirse en un campo de confrontación por derecho propio, su dominio exacerba las rivalidades entre las potencias, que lo ven como un medio para adquirir superioridad estratégica. También ofrece posibilidades sin precedentes para la vigilancia masiva de las poblaciones y el ejercicio del autoritarismo digital.

En tiempos de crisis, estos avances tecnológicos pondrán más énfasis en nuestras capacidades analíticas y de toma de decisiones, que se encuentran divididas entre la exhaustividad, la veracidad y la capacidad de respuesta. En este sentido, aumentan los riesgos de deslizamiento y exigen la aplicación de mecanismos sólidos y transparentes de desconexión.

No solo la referencia al riesgo de deslizamiento por soluciones creativas de las IAs -en el manejo del arsenal nuclear, por ejemplo- apunta a preocupaciones mucho más sofisticadas de las habitualmente recogidas en la prensa. Existe una preocupación franca por la relación entre soberanía y tecnología. El Presidente no podía ser más claro al afirmar que:

Para construir la Europa del mañana, nuestros estándares no pueden estar bajo el control americano, nuestras infraestructuras, nuestros puertos y aeropuertos bajo el capital chino y nuestras redes digitales bajo la presión rusa.

Es decir, las estructuras tecnológicas no son meros soportes a la actividad comercial. Son elementos estratégicos centrales de cualquier política de seguridad nacional en nuestro siglo.

Este es el caso de las infraestructuras 5G, la nube, que es decisiva para el almacenamiento de datos, los sistemas operativos, las redes de cable submarino, que son el centro neurálgico de nuestra economía globalizada. A nivel europeo, también necesitamos controlar nuestro acceso al espacio y decidir por nosotros mismos las normas que se imponen a nuestras empresas.

Esta política de normas, esta política de infraestructuras estratégicas, es esencial. Y es esencial para nuestra seguridad colectiva y nuestra capacidad de actuar. Vivimos en un mundo de interoperabilidad, con equipos cada vez más digitales. Gastar lo que estamos gastando para tener un equipo perfecto y entregar la infraestructura de conexión, entre nuestro equipo y nuestros países, a otros, sin ninguna garantía, seguiría siendo extrañamente ingenuo. Disculpen sin no deseo participar.

Derechos de Ciudadanía Digital