Blog

Palacio sede del Consejo de Estado - Italia

Recientemente el Consejo de Estado (Consiglio di Stato), el principal 贸rgano judicial-administrativo y consultivo italiano, emiti贸 una interesante decisi贸n relativa a la posibilidad y la legalidad de que la administraci贸n p煤blica se base en procedimientos y decisiones basados en algoritmos.

En el caso en cuesti贸n, la controversia se refer铆a al resultado de un procedimiento de contrataci贸n extraordinaria de maestros de escuela, llevado a cabo por el Ministerio de Educaci贸n italiano: en el contexto de ese procedimiento, se asignaron geogr谩ficamente diferentes lugares de trabajo a los maestros contratados.

Este procedimiento -basado 煤nicamente en un algoritmo que, en opini贸n de los profesores, no funcionaba correctamente- organizaba los traslados sin tener debidamente en cuenta las preferencias expresadas por los profesores, incluso en presencia de plazas disponibles en las zonas geogr谩ficas preferidas. En esencia, el mecanismo de movilidad extraordinaria result贸 perjudicial para los profesores que fueron trasladados a provincias alejadas de la de su residencia o de la elegida con prioridad en el momento de su solicitud de empleo.

Aunque consider贸 ileg铆timo el algoritmo utilizado en el caso concreto, el Consejo no excluy贸 en absoluto la posibilidad de que la administraci贸n p煤blica adoptara algoritmos: m谩s bien se帽al贸 que la administraci贸n p煤blica podr谩 explotar el importante potencial de la llamada 芦revoluci贸n digital禄, utilizando tambi茅n algoritmos, pero s贸lo en determinadas condiciones. Seg煤n el Consejo, la utilizaci贸n de algoritmos inform谩ticos para la adopci贸n de decisiones que afectan a la esfera p煤blica y privada debe evaluarse siempre en t茅rminos de eficacia y neutralidad: esto significa que la utilidad de los algoritmos para la gesti贸n del inter茅s p煤blico puede ser particularmente 煤til en lo que respecta a procedimientos, como el que nos ocupa, que son seriados o normalizados, que implican la tramitaci贸n de grandes cantidades de solicitudes, y que se caracterizan por el acopio de determinados elementos objetivamente demostrables y por la ausencia de toda apreciaci贸n discrecional.

En opini贸n del Consejo de Estado italiano, la plena admisibilidad de esos instrumentos podr铆a responder a los criterios de eficiencia y eficacia en funci贸n de los costos de la acci贸n administrativa, que, de conformidad con el principio constitucional de buena ejecuci贸n de la acci贸n administrativa (art铆culo 97 de la Constituci贸n italiana), exigen que la administraci贸n alcance sus objetivos con el menor gasto de recursos y mediante la racionalizaci贸n y aceleraci贸n del procedimiento p煤blico.

El uso del algoritmo debe estar correctamente enmarcado en t茅rminos de medidas organizativas, medios procesales y de investigaci贸n, sujeto a los requisitos, comprobaciones y controles t铆picos de cualquier procedimiento administrativo, asegurando que la elecci贸n autorizada se lleve a cabo sobre la base de la ley que atribuye el poder y los prop贸sitos a la autoridad p煤blica. El Consejo destac贸 tres principios interesantes, relativos a los algoritmos potencialmente adoptados por la administraci贸n p煤blica.

  • En primer lugar, el 芦principio de conocimiento禄, en virtud del cual toda persona tiene derecho a conocer la existencia de los procesos automatizados de adopci贸n de decisiones que le conciernen y a recibir informaci贸n significativa sobre su l贸gica. Esta norma constituye una aplicaci贸n espec铆fica directa del arte. 41 de la Carta de Derechos Fundamentales de la Uni贸n Europea, en el que se establece que cuando la Administraci贸n P煤blica se proponga adoptar una decisi贸n que pueda tener efectos adversos para una persona, tiene la obligaci贸n de 芦motivar su decisi贸n禄 y la persona interesada tiene derecho a ser o铆da y a tener acceso a sus archivos y documentos. El Consejo subray贸 que el derecho a saber debe ir acompa帽ado de mecanismos capaces de descifrar la l贸gica del algoritmo. En esta perspectiva, el principio de la conocibilidad se completa con el principio de la comprensibilidad, es decir, la posibilidad de recibir informaci贸n significativa sobre la l贸gica en cuesti贸n, as铆 como sobre el significado y las consecuencias previstas de ese tratamiento para el interesado. Sin embargo, al leer la decisi贸n, parece que el Consejo de Estado no consider贸 esencial y obligatoria la divulgaci贸n completa y exhaustiva del c贸digo algor铆tmico.
  • En segundo lugar, el Consejo identific贸 el 芦principio de no exclusividad禄 de la decisi贸n algor铆tmica, que se deriva del Art铆culo 22 Reg. UE 2016/679 (GDPR). Una persona tendr谩 derecho a no ser objeto de una decisi贸n basada 煤nicamente en un tratamiento automatizado, incluida la elaboraci贸n de perfiles, que produzca efectos jur铆dicos que le conciernan o que le afecten de forma similar y significativa, teniendo derecho a obtener, al menos, una intervenci贸n humana por parte del responsable del tratamiento (la administraci贸n p煤blica, el Ministerio de Educaci贸n en el caso concreto), a expresar su punto de vista y a impugnar la decisi贸n.

Primera sentencia Europea contra el uso de algoritmos

El tribunal distrito de La Haya ha dictado sentencia en contra de un sistema algor铆tmico utilizado por el Gobierno de los los Pa铆ses Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda.

El tribunal encuentra que el algoritmo:

  • No cumple con el 芦equilibrio justo禄 que debe existir entre el inter茅s social al que sirve la normativa cuestionada y la violaci贸n de la vida privada
  • Tiene un efecto significativo en la vida privada de la persona a la que se refiere.
  • Considera que el gobierno holand茅s no ha hecho p煤blico el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado informaci贸n sobre el m茅todo de an谩lisis de riesgos utilizado.
  • No prev茅 ninguna obligaci贸n de informaci贸n a las personas cuyos datos se tratan.
  • Tampoco prev茅 ninguna obligaci贸n de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluaci贸n de riesgo ha sido positiva.

Como consecuencia, el tribunal concluye que:

  • Es imposible verificar c贸mo est谩 dise帽ado el 谩rbol de decisi贸n que utiliza el algoritmo y en qu茅 pasos consiste.
  • Circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a 茅l o ella.

Comentarios a la sentencia del Diario La Ley

El tribunal distrito de La Haya declara que el sistema establecido por el gobierno holand茅s para valorar el nivel de riesgo de defraudaci贸n de los ciudadanos, no cumple las exigencias de proporcionalidad, carece de transparencia y vulnera las previsiones sobre respeto a la vida privada que reconoce el art铆culo 8 del Convenio Europeo de Derechos Humanos.

El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algor铆tmico utilizado por el Gobierno de los Pa铆ses Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el art铆culo 8 del Convenio Europeo de Derechos Humanos, por lo que es contrario a la ley.

Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluaci贸n de caracter铆sticas personales de los ciudadanos. Su difusi贸n ha coincidido, adem谩s, con el anuncio de la Comisi贸n de que en breves fechas va a presentar una propuesta de regulaci贸n de la IA en la Uni贸n, y con una recient铆sima decisi贸n del Parlamento Europeo por la que solicita a la Comisi贸n que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protecci贸n de los consumidores y la libre circulaci贸n de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicaci贸n por la AEPD de la Gu铆a de Adecuaci贸n al RGPD de tratamientos que incorporan Inteligencia Artificial.

Los Hechos

Seg煤n la sentencia, cuyo texto est谩 disponible en neerland茅s, el denominado Sistema de Indicaci贸n de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerland茅s utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.

El sistema se basa en la asignaci贸n del nivel de riesgo de que una determinada persona cometa fraude a los ingresos p煤blicos, en funci贸n de una serie de par谩metros analizados y relacionados entre s铆.

Esta medida, instaurada a solicitud de determinadas agencias y organismos p煤blicos, a la vista del elevado volumen de fraude detectado en el pa铆s, se basa en la denominada Ley de Organizaci贸n de Implementaci贸n y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo art铆culo 65.2 permite la elaboraci贸n de informes de riesgos para evaluar el riesgo de que una persona f铆sica o jur铆dica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos p煤blicos.

De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, direcci贸n, lugar de residencia, direcci贸n postal, fecha de nacimiento, g茅nero y caracter铆sticas administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida informaci贸n sobre bienes muebles e inmuebles; datos sobre motivos de exclusi贸n de asistencia o beneficios; datos comerciales; datos de integraci贸n, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integraci贸n a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligaci贸n de reintegro de prestaciones p煤blicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realizaci贸n de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona est谩 asegurada en virtud de la Ley de seguro de salud.

El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los n煤meros de seguridad social y las direcciones por un c贸digo (seud贸nimo). A continuaci贸n se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, f铆sica o jur铆dica, o una direcci贸n, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del an谩lisis de riesgos por una unidad de an谩lisis espec铆fica. En la segunda fase, los datos descifrados son analizados por esta unidad de an谩lisis, que asigna un nivel de riesgo definitivo.

La decisi贸n del tribunal

Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y seg煤n la sentencia del tribunal local de La Haya, la legislaci贸n que sustenta la aplicaci贸n de este algoritmo, no cumple con el requisito establecido en el Art铆culo 8, p谩rrafo 2 del CEDH, de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democr谩tica. Es decir, que sea necesaria y proporcional en relaci贸n para el prop贸sito previsto.

En particular, estima que esta legislaci贸n no cumple con el 芦equilibrio justo禄 (fair balance, en el original) que de acuerdo con el CEDH debe existir entre el inter茅s social al que sirve la normativa cuestionada y la violaci贸n de la vida privada que supone, para poder estimar suficientemente justificada esta intromisi贸n.

En su evaluaci贸n, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protecci贸n de datos en virtud del Derecho de la Uni贸n (la CEDH y el RGPD), en particular en los principios de transparencia, de limitaci贸n del tratamiento de minimizaci贸n de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.

Efectos del informe de riesgos sobre la vida privada de las personas

En opini贸n del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en s铆 mismo una consecuencia legal directa, civil, administrativa o penal, s铆 que tiene un efecto significativo en la vida privada de la persona a la que se refiere.

El tribunal tambi茅n deriva esa conclusi贸n de las directrices del Grupo de Trabajo del art铆culo 29 del de Protecci贸n de Datos de 4 de diciembre de 2008, seg煤n las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso m谩s extremo, conducir a su exclusi贸n o discriminaci贸n.

Una finalidad leg铆tima, perseguida por unos medios desproporcionados

El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Pa铆ses Bajos justifica la aplicaci贸n de mecanismos de control y supervisi贸n que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnolog铆as proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisi贸n m谩s efectiva.

Pero, a帽ade, en este desarrollo, el derecho a la protecci贸n de datos es cada vez m谩s importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilaci贸n y el an谩lisis de datos con la ayuda de estas nuevas tecnolog铆as puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.

Falta de transparencia del algoritmo

El principio de transparencia es el principio rector de la protecci贸n de datos que subyace y est谩 consagrado en la CEDH y en el RGPD (arts. 5.1 a) y 12).

El tribunal considera que el gobierno holand茅s no ha hecho p煤blico el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado informaci贸n sobre el m茅todo de an谩lisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.

Adem谩s, aprecia que la normativa reguladora del algoritmo no prev茅 ninguna obligaci贸n de informaci贸n a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prev茅 ninguna obligaci贸n de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluaci贸n de riesgo ha sido positiva.

Relevancia de la falta de transparencia

Como resultado de lo anterior, concluye el tribunal, es imposible verificar c贸mo est谩 dise帽ado el 谩rbol de decisi贸n que utiliza el algoritmo y en qu茅 pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a 茅l o ella.

El 30 de agosto de 2016, Bruselas concluy贸 que las ayudas fiscales concedidas por Irlanda a Apple no eran legales y que deb铆a recuperar 13.000 millones de euros que hab铆a dejado de cobrar por permitir en su territorio maniobras de elusi贸n fiscal.

Seg煤n la comisaria europea Margrethe Vestager, un a帽o despu茅s de adoptada la decisi贸n Irlanda no ha movido un dedo. El plazo para que Dubl铆n cumpliera expir贸 en enero de 2017, cuatro meses despu茅s de la comunicaci贸n, un plazo normal en este tipo de procedimientos. Ante la inacci贸n del gobierno irland茅s, Bruselas ha comunicado hoy su decisi贸n de denunciar a Irlanda ante la Corte Europea de Justicia

Bruselas lamenta que hasta que el dinero no sea ingresado en las arcas p煤blicas, Apple se seguir谩 beneficiando de una posici贸n injusta respecto a otras empresas. Y a pesar de que hay constancia de que el Gobierno irland茅s 芦ha hecho progresos en el c谩lculo exacto de las ayudas ilegales concedidas, no planea terminar los trabajos antes de marzo de 2018 como pronto, algo que la comisaria considera 芦inaceptable禄.

Irlanda, que califica la denuncia de 芦lamentable禄 defiende su sistema fiscal y no quiere ingresar ese dinero, por lo que ha recurrido ante la Justicia Europea la decisi贸n de Bruselas. Las normas comunitarias, sin embargo, indican que aunque haya un recurso en marcha, el dinero ha de ser recuperado, pudiendo ser depositado temporalmente en una cuenta bloqueada.

La UE no puede imponer multas por el retraso del cumplimiento hasta que haya una sentencia del Tribunal al respecto, algo que suele llevar cerca de dos a帽os desde que arranca el proceso.

Fiscalidad GAFA

En las pr贸ximas horas se espera que la Comisi贸n Europea cuantifique la cantidad exigida a Amazon por utilizaci贸n de diferentes tipos de estrategias para reducir su base imponible de cotizaci贸n y reducir su carga fiscal en la Uni贸n Europea.

Esta decisi贸n se enmarca en el criterio adoptado por la UE en 2014 con el objetivo de impedir que estados miembro concedan acuerdos de favor a grandes multinacionales. Como se ha visto recientemente en casos como el de Google o Apple, la tecnol贸gicas se han caracterizado por adoptar mecanismos varios para camuflar a trav茅s de ventas de mercanc铆as y servicios entre empresas de un mismo grupo los beneficios obtenidos de su actividad. A consecuencia de ello, la relaci贸n entre la actividad econ贸mica real de las empresas y su base imponible existe un desajuste cuanto menos importante.

Los pa铆ses en los que se han detectado este tipo de acuerdos incluyen a Irlanda, Holanda y Reino Unido adem谩s de Luxemburgo.

En el caso concreto de Amazon, la diferencia encontrada tras realizar un an谩lisis a sus cuentas se concentra en el pago de unos 500 millones de euros anuales en concepto de regal铆as que la sede europea de la empresa, Amazon EU Sarl de Luxembrugo paga a otra filial de la empresa tambi茅n en Luxemburgo pero que no es sujeto fiscal en el pa铆s. El concepto de las regal铆as son los derechos por el uso de propiedad intelectual. Como la segunda empresa a la que se paga no es sujeto fiscal, de hecho la transferencia de ingresos sirve para reducir los ingresos sujetos a tributaci贸n. Para la CE este pacto societario es 芦cosm茅tico禄 y por otro lado los c谩lculos fiscales de Luxemburgo no se ajustan a los principios contables internacionales.

En una d茅cada las empresas del grupo que operan en Europa pagaron a la cabecera unos 4.000 millones de euros en regal铆as por utilizar el nombre y el conocimiento de Amazon. En el mismo periodo las operaciones europeas de Amazon registraron un beneficio de 11 millones de euros sobre ingresos totales de 60.000 millones de euros. Amazon repatri贸 a Estados Unidos 1.000 millones del total de regal铆as que qued贸 sujeto a impuestos y dej贸 flotando en el extranjero los otros 3.000 millones.

Actualizaci贸n:
La Uni贸n Europea estima la cifra exigible a Amazon en 250 millones de euros m谩s intereses, aunque puntualiza que debe ser Luxemburgo el que determine la cifra exacta.

El Gran Ducado, por su parte, ha reaccionado de forma inmediata: 芦Tomamos nota de la decisi贸n de la Comisi贸n Europea. Usaremos los procedimientos apropiados para analizar la decisi贸n y nos reservamos todos nuestros derechos禄, explica el Ministerio de Finanzas en un comunicado. 芦La decisi贸n de la Comisi贸n hace referencia a un periodo que se remonta a 2006. Desde entonces, tanto el marco legal luxemburgu茅s como el internacional han evolucionado. Como Amazon ha tributado de acuerdo a las normas fiscales de la 茅poca, Luxemburgo considera que la empresa no ha recibido ayuda ilegal de Estado. Hemos colaborado totalmente con la investigaci贸n y estamos comprometidos con la transparencia y la lucha contra la da帽ina evasi贸n fiscal禄, a帽ade el ministerio.

Por su parte, la empresa defiende que ha respetado todas las leyes. 芦Creemos que Amazon no ha recibido ning煤n trato especial de Luxemburgo y que pagamos impuestos en plena conformidad con la legislaci贸n tributaria luxemburguesa e internacional. Estudiaremos la decisi贸n de la Comisi贸n y consideraremos las opciones legales, incluyendo una apelaci贸n.

Bitcoin

En enero de 2016 el Banco Central de China emiti贸 un comunicado oficial tras un encuentro celebrado en Pequ铆n que reuni贸 a expertos del banco central, Citibank y Deloitte para debatir e intercambiar ideas sobre la industria de las criptomonedas, la evoluci贸n de monedas fiduciarias digitales y la emisi贸n de criptomonedas estatales.

En 2014, el Banco Central de China hab铆a creado un equipo para investigar las monedas digitales. Desde entonces su trabajo se ha centrado en el an谩lisis de la emisi贸n, los marcos operativos, los aspectos t茅cnicos clave, la circulaci贸n de la moneda, las cuestiones legales relacionadas con las monedas digitales, y su impacto en el sistema financiero tradicional, as铆 como la relaci贸n entre las monedas digitales fiduciarias, es decir, emitidas por los bancos centrales, y las monedas digitales emitidas de forma privada, como bitcoin. A partir de ahora su trabajo ir谩 dirigido a 芦aclarar los objetivos estrat茅gicos del banco central para la emisi贸n de la moneda digital, investigar a fondo las tecnolog铆as clave, e investigar diversas aplicaciones para las monedas digitales que ayuden a que el banco central introduzca una moneda digital, tan pronto como sea posible禄.

芦El dise帽o de la moneda digital debe proporcionar comodidad, seguridad, ser de bajo costo, tener una alta cobertura, y estar perfectamente integrada con otras plataformas禄, para que su uso sea 芦sostenible y efectivo禄.

Un documento oficial publicado recoge los beneficios de la emisi贸n de monedas digitales para el Banco Central chino:

  • Reducir los costes de la emisi贸n y circulaci贸n de las monedas f铆at.
  • Aumentar la eficiencia y la transparencia de las transferencias de dinero.
  • Reducir las posibilidades de lavado de dinero y la evasi贸n fiscal.
  • Aumentar la capacidad de control de la oferta monetaria por parte del banco central.

Y concluye:

芦En el futuro, vemos que la emisi贸n de monedas digitales y el establecimiento de sus canales de circulaci贸n podr铆a mejorar a煤n m谩s la industria de servicios financieros de nuestro pa铆s, mejorar los sistemas de pago y de liquidaci贸n de nuestro pa铆s, lo que aumentar铆a la calidad y la eficiencia de nuestro sistema econ贸mico禄.

World Economic Forum

Una llamada de atenci贸n sobre la necesidad de crear nuevos est谩ndares globales para que las oportunidades creadas por el sector no se desborden y desestabilicen al sector financiero en su conjunto. En resumen seis grandes riesgos:

  1. Que las finanzas p2p independientes descompongan el tejido financiero tradicional
  2. Que los algoritmos determinen el mercado
  3. Que incremente el cibercrimen
  4. Que incremente el uso il铆cito de los datos de los clientes
  5. Que los agujeros en los sistemas de pagos tuerzan las pol铆ticas monetarias
  6. 6. Que la regulaci贸n se base en clasificaciones de los agentes y no tanto en su actividad, llevando a algunos a la quiebra

Y cuatro ejes de trabajo:

  1. Clarificar los l铆mites del uso de los datos
  2. Una versi贸n financiera del WTF
  3. Mejor regulaci贸n y supervisi贸n
  4. Corporatizaci贸n y autoregulaci贸n industrial

Derechos de Ciudadan铆a Digital