Blog

Palacio sede del Consejo de Estado - Italia

Recientemente el Consejo de Estado (Consiglio di Stato), el principal órgano judicial-administrativo y consultivo italiano, emitió una interesante decisión relativa a la posibilidad y la legalidad de que la administración pública se base en procedimientos y decisiones basados en algoritmos.

En el caso en cuestión, la controversia se refería al resultado de un procedimiento de contratación extraordinaria de maestros de escuela, llevado a cabo por el Ministerio de Educación italiano: en el contexto de ese procedimiento, se asignaron geográficamente diferentes lugares de trabajo a los maestros contratados.

Este procedimiento -basado únicamente en un algoritmo que, en opinión de los profesores, no funcionaba correctamente- organizaba los traslados sin tener debidamente en cuenta las preferencias expresadas por los profesores, incluso en presencia de plazas disponibles en las zonas geográficas preferidas. En esencia, el mecanismo de movilidad extraordinaria resultó perjudicial para los profesores que fueron trasladados a provincias alejadas de la de su residencia o de la elegida con prioridad en el momento de su solicitud de empleo.

Aunque consideró ilegítimo el algoritmo utilizado en el caso concreto, el Consejo no excluyó en absoluto la posibilidad de que la administración pública adoptara algoritmos: más bien señaló que la administración pública podrá explotar el importante potencial de la llamada «revolución digital», utilizando también algoritmos, pero sólo en determinadas condiciones. Según el Consejo, la utilización de algoritmos informáticos para la adopción de decisiones que afectan a la esfera pública y privada debe evaluarse siempre en términos de eficacia y neutralidad: esto significa que la utilidad de los algoritmos para la gestión del interés público puede ser particularmente útil en lo que respecta a procedimientos, como el que nos ocupa, que son seriados o normalizados, que implican la tramitación de grandes cantidades de solicitudes, y que se caracterizan por el acopio de determinados elementos objetivamente demostrables y por la ausencia de toda apreciación discrecional.

En opinión del Consejo de Estado italiano, la plena admisibilidad de esos instrumentos podría responder a los criterios de eficiencia y eficacia en función de los costos de la acción administrativa, que, de conformidad con el principio constitucional de buena ejecución de la acción administrativa (artículo 97 de la Constitución italiana), exigen que la administración alcance sus objetivos con el menor gasto de recursos y mediante la racionalización y aceleración del procedimiento público.

El uso del algoritmo debe estar correctamente enmarcado en términos de medidas organizativas, medios procesales y de investigación, sujeto a los requisitos, comprobaciones y controles típicos de cualquier procedimiento administrativo, asegurando que la elección autorizada se lleve a cabo sobre la base de la ley que atribuye el poder y los propósitos a la autoridad pública. El Consejo destacó tres principios interesantes, relativos a los algoritmos potencialmente adoptados por la administración pública.

  • En primer lugar, el «principio de conocimiento», en virtud del cual toda persona tiene derecho a conocer la existencia de los procesos automatizados de adopción de decisiones que le conciernen y a recibir información significativa sobre su lógica. Esta norma constituye una aplicación específica directa del arte. 41 de la Carta de Derechos Fundamentales de la Unión Europea, en el que se establece que cuando la Administración Pública se proponga adoptar una decisión que pueda tener efectos adversos para una persona, tiene la obligación de «motivar su decisión» y la persona interesada tiene derecho a ser oída y a tener acceso a sus archivos y documentos. El Consejo subrayó que el derecho a saber debe ir acompañado de mecanismos capaces de descifrar la lógica del algoritmo. En esta perspectiva, el principio de la conocibilidad se completa con el principio de la comprensibilidad, es decir, la posibilidad de recibir información significativa sobre la lógica en cuestión, así como sobre el significado y las consecuencias previstas de ese tratamiento para el interesado. Sin embargo, al leer la decisión, parece que el Consejo de Estado no consideró esencial y obligatoria la divulgación completa y exhaustiva del código algorítmico.
  • En segundo lugar, el Consejo identificó el «principio de no exclusividad» de la decisión algorítmica, que se deriva del Artículo 22 Reg. UE 2016/679 (GDPR). Una persona tendrá derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos que le conciernan o que le afecten de forma similar y significativa, teniendo derecho a obtener, al menos, una intervención humana por parte del responsable del tratamiento (la administración pública, el Ministerio de Educación en el caso concreto), a expresar su punto de vista y a impugnar la decisión.

Primera sentencia Europea contra el uso de algoritmos

El tribunal distrito de La Haya ha dictado sentencia en contra de un sistema algorítmico utilizado por el Gobierno de los los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda.

El tribunal encuentra que el algoritmo:

  • No cumple con el «equilibrio justo» que debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada
  • Tiene un efecto significativo en la vida privada de la persona a la que se refiere.
  • Considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado.
  • No prevé ninguna obligación de información a las personas cuyos datos se tratan.
  • Tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Como consecuencia, el tribunal concluye que:

  • Es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste.
  • Circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Comentarios a la sentencia del Diario La Ley

El tribunal distrito de La Haya declara que el sistema establecido por el gobierno holandés para valorar el nivel de riesgo de defraudación de los ciudadanos, no cumple las exigencias de proporcionalidad, carece de transparencia y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos.

El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos, por lo que es contrario a la ley.

Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluación de características personales de los ciudadanos. Su difusión ha coincidido, además, con el anuncio de la Comisión de que en breves fechas va a presentar una propuesta de regulación de la IA en la Unión, y con una recientísima decisión del Parlamento Europeo por la que solicita a la Comisión que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protección de los consumidores y la libre circulación de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicación por la AEPD de la Guía de Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial.

Los Hechos

Según la sentencia, cuyo texto está disponible en neerlandés, el denominado Sistema de Indicación de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerlandés utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.

El sistema se basa en la asignación del nivel de riesgo de que una determinada persona cometa fraude a los ingresos públicos, en función de una serie de parámetros analizados y relacionados entre sí.

Esta medida, instaurada a solicitud de determinadas agencias y organismos públicos, a la vista del elevado volumen de fraude detectado en el país, se basa en la denominada Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo artículo 65.2 permite la elaboración de informes de riesgos para evaluar el riesgo de que una persona física o jurídica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos públicos.

De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género y características administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida información sobre bienes muebles e inmuebles; datos sobre motivos de exclusión de asistencia o beneficios; datos comerciales; datos de integración, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integración a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligación de reintegro de prestaciones públicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realización de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona está asegurada en virtud de la Ley de seguro de salud.

El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los números de seguridad social y las direcciones por un código (seudónimo). A continuación se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, física o jurídica, o una dirección, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del análisis de riesgos por una unidad de análisis específica. En la segunda fase, los datos descifrados son analizados por esta unidad de análisis, que asigna un nivel de riesgo definitivo.

La decisión del tribunal

Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y según la sentencia del tribunal local de La Haya, la legislación que sustenta la aplicación de este algoritmo, no cumple con el requisito establecido en el Artículo 8, párrafo 2 del CEDH, de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democrática. Es decir, que sea necesaria y proporcional en relación para el propósito previsto.

En particular, estima que esta legislación no cumple con el «equilibrio justo» (fair balance, en el original) que de acuerdo con el CEDH debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada que supone, para poder estimar suficientemente justificada esta intromisión.

En su evaluación, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protección de datos en virtud del Derecho de la Unión (la CEDH y el RGPD), en particular en los principios de transparencia, de limitación del tratamiento de minimización de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.

Efectos del informe de riesgos sobre la vida privada de las personas

En opinión del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere.

El tribunal también deriva esa conclusión de las directrices del Grupo de Trabajo del artículo 29 del de Protección de Datos de 4 de diciembre de 2008, según las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso más extremo, conducir a su exclusión o discriminación.

Una finalidad legítima, perseguida por unos medios desproporcionados

El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Países Bajos justifica la aplicación de mecanismos de control y supervisión que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnologías proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisión más efectiva.

Pero, añade, en este desarrollo, el derecho a la protección de datos es cada vez más importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilación y el análisis de datos con la ayuda de estas nuevas tecnologías puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.

Falta de transparencia del algoritmo

El principio de transparencia es el principio rector de la protección de datos que subyace y está consagrado en la CEDH y en el RGPD (arts. 5.1 a) y 12).

El tribunal considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.

Además, aprecia que la normativa reguladora del algoritmo no prevé ninguna obligación de información a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Relevancia de la falta de transparencia

Como resultado de lo anterior, concluye el tribunal, es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

El 30 de agosto de 2016, Bruselas concluyó que las ayudas fiscales concedidas por Irlanda a Apple no eran legales y que debía recuperar 13.000 millones de euros que había dejado de cobrar por permitir en su territorio maniobras de elusión fiscal.

Según la comisaria europea Margrethe Vestager, un año después de adoptada la decisión Irlanda no ha movido un dedo. El plazo para que Dublín cumpliera expiró en enero de 2017, cuatro meses después de la comunicación, un plazo normal en este tipo de procedimientos. Ante la inacción del gobierno irlandés, Bruselas ha comunicado hoy su decisión de denunciar a Irlanda ante la Corte Europea de Justicia

Bruselas lamenta que hasta que el dinero no sea ingresado en las arcas públicas, Apple se seguirá beneficiando de una posición injusta respecto a otras empresas. Y a pesar de que hay constancia de que el Gobierno irlandés «ha hecho progresos en el cálculo exacto de las ayudas ilegales concedidas, no planea terminar los trabajos antes de marzo de 2018 como pronto, algo que la comisaria considera «inaceptable».

Irlanda, que califica la denuncia de «lamentable» defiende su sistema fiscal y no quiere ingresar ese dinero, por lo que ha recurrido ante la Justicia Europea la decisión de Bruselas. Las normas comunitarias, sin embargo, indican que aunque haya un recurso en marcha, el dinero ha de ser recuperado, pudiendo ser depositado temporalmente en una cuenta bloqueada.

La UE no puede imponer multas por el retraso del cumplimiento hasta que haya una sentencia del Tribunal al respecto, algo que suele llevar cerca de dos años desde que arranca el proceso.

Fiscalidad GAFA

En las próximas horas se espera que la Comisión Europea cuantifique la cantidad exigida a Amazon por utilización de diferentes tipos de estrategias para reducir su base imponible de cotización y reducir su carga fiscal en la Unión Europea.

Esta decisión se enmarca en el criterio adoptado por la UE en 2014 con el objetivo de impedir que estados miembro concedan acuerdos de favor a grandes multinacionales. Como se ha visto recientemente en casos como el de Google o Apple, la tecnológicas se han caracterizado por adoptar mecanismos varios para camuflar a través de ventas de mercancías y servicios entre empresas de un mismo grupo los beneficios obtenidos de su actividad. A consecuencia de ello, la relación entre la actividad económica real de las empresas y su base imponible existe un desajuste cuanto menos importante.

Los países en los que se han detectado este tipo de acuerdos incluyen a Irlanda, Holanda y Reino Unido además de Luxemburgo.

En el caso concreto de Amazon, la diferencia encontrada tras realizar un análisis a sus cuentas se concentra en el pago de unos 500 millones de euros anuales en concepto de regalías que la sede europea de la empresa, Amazon EU Sarl de Luxembrugo paga a otra filial de la empresa también en Luxemburgo pero que no es sujeto fiscal en el país. El concepto de las regalías son los derechos por el uso de propiedad intelectual. Como la segunda empresa a la que se paga no es sujeto fiscal, de hecho la transferencia de ingresos sirve para reducir los ingresos sujetos a tributación. Para la CE este pacto societario es «cosmético» y por otro lado los cálculos fiscales de Luxemburgo no se ajustan a los principios contables internacionales.

En una década las empresas del grupo que operan en Europa pagaron a la cabecera unos 4.000 millones de euros en regalías por utilizar el nombre y el conocimiento de Amazon. En el mismo periodo las operaciones europeas de Amazon registraron un beneficio de 11 millones de euros sobre ingresos totales de 60.000 millones de euros. Amazon repatrió a Estados Unidos 1.000 millones del total de regalías que quedó sujeto a impuestos y dejó flotando en el extranjero los otros 3.000 millones.

Actualización:
La Unión Europea estima la cifra exigible a Amazon en 250 millones de euros más intereses, aunque puntualiza que debe ser Luxemburgo el que determine la cifra exacta.

El Gran Ducado, por su parte, ha reaccionado de forma inmediata: «Tomamos nota de la decisión de la Comisión Europea. Usaremos los procedimientos apropiados para analizar la decisión y nos reservamos todos nuestros derechos», explica el Ministerio de Finanzas en un comunicado. «La decisión de la Comisión hace referencia a un periodo que se remonta a 2006. Desde entonces, tanto el marco legal luxemburgués como el internacional han evolucionado. Como Amazon ha tributado de acuerdo a las normas fiscales de la época, Luxemburgo considera que la empresa no ha recibido ayuda ilegal de Estado. Hemos colaborado totalmente con la investigación y estamos comprometidos con la transparencia y la lucha contra la dañina evasión fiscal», añade el ministerio.

Por su parte, la empresa defiende que ha respetado todas las leyes. «Creemos que Amazon no ha recibido ningún trato especial de Luxemburgo y que pagamos impuestos en plena conformidad con la legislación tributaria luxemburguesa e internacional. Estudiaremos la decisión de la Comisión y consideraremos las opciones legales, incluyendo una apelación.

Bitcoin

En enero de 2016 el Banco Central de China emitió un comunicado oficial tras un encuentro celebrado en Pequín que reunió a expertos del banco central, Citibank y Deloitte para debatir e intercambiar ideas sobre la industria de las criptomonedas, la evolución de monedas fiduciarias digitales y la emisión de criptomonedas estatales.

En 2014, el Banco Central de China había creado un equipo para investigar las monedas digitales. Desde entonces su trabajo se ha centrado en el análisis de la emisión, los marcos operativos, los aspectos técnicos clave, la circulación de la moneda, las cuestiones legales relacionadas con las monedas digitales, y su impacto en el sistema financiero tradicional, así como la relación entre las monedas digitales fiduciarias, es decir, emitidas por los bancos centrales, y las monedas digitales emitidas de forma privada, como bitcoin. A partir de ahora su trabajo irá dirigido a «aclarar los objetivos estratégicos del banco central para la emisión de la moneda digital, investigar a fondo las tecnologías clave, e investigar diversas aplicaciones para las monedas digitales que ayuden a que el banco central introduzca una moneda digital, tan pronto como sea posible».

«El diseño de la moneda digital debe proporcionar comodidad, seguridad, ser de bajo costo, tener una alta cobertura, y estar perfectamente integrada con otras plataformas», para que su uso sea «sostenible y efectivo».

Un documento oficial publicado recoge los beneficios de la emisión de monedas digitales para el Banco Central chino:

  • Reducir los costes de la emisión y circulación de las monedas fíat.
  • Aumentar la eficiencia y la transparencia de las transferencias de dinero.
  • Reducir las posibilidades de lavado de dinero y la evasión fiscal.
  • Aumentar la capacidad de control de la oferta monetaria por parte del banco central.

Y concluye:

«En el futuro, vemos que la emisión de monedas digitales y el establecimiento de sus canales de circulación podría mejorar aún más la industria de servicios financieros de nuestro país, mejorar los sistemas de pago y de liquidación de nuestro país, lo que aumentaría la calidad y la eficiencia de nuestro sistema económico».

World Economic Forum

Una llamada de atención sobre la necesidad de crear nuevos estándares globales para que las oportunidades creadas por el sector no se desborden y desestabilicen al sector financiero en su conjunto. En resumen seis grandes riesgos:

  1. Que las finanzas p2p independientes descompongan el tejido financiero tradicional
  2. Que los algoritmos determinen el mercado
  3. Que incremente el cibercrimen
  4. Que incremente el uso ilícito de los datos de los clientes
  5. Que los agujeros en los sistemas de pagos tuerzan las políticas monetarias
  6. 6. Que la regulación se base en clasificaciones de los agentes y no tanto en su actividad, llevando a algunos a la quiebra

Y cuatro ejes de trabajo:

  1. Clarificar los límites del uso de los datos
  2. Una versión financiera del WTF
  3. Mejor regulación y supervisión
  4. Corporatización y autoregulación industrial

Derechos de Ciudadanía Digital