Blog

California Consumer Privacy Act 2018

La Ley de Privacidad del Consumidor de California (CCPA por sus siglas en inglés) es una ley estatal destinada a mejorar los derechos de privacidad y la protección del consumidor para los residentes en California, Estados Unidos.

Su impulsor, Alastair Mactaggart, es un magnate inmobiliario, Fundador de la asociación «Californians for Consumer Privacy» y Presidente de su Junta; La asociación ha sido la entidad impulsora del referéndum de la Ley de Privacidad del Consumidor de California (CCPA).

Mactaggart y la Ley de Privacidad del Consumidor de California (CCPA)

Presentada a referendum en 2016, obtuvo el respaldo de 690 mil ciudadanos, siendo el mínimo para iniciar un procedimiento legislativo de 500 mil. La Ley de Privacidad fue aprobada en 2018 por la Legislatura del Estado de California y por el gobernador de California, Jerry Brown. El CCPA otorga a casi 40 millones de personas en California los derechos de privacidad de datos más sólidos del país y ha entrado en vigor en enero de 2020.

Los californianos ahora tienen derecho a saber qué datos se recopilan sobre ellos, a prohibir la venta de sus datos a terceros, a demandar a las empresas que recopilan sus datos y sufren una violación de seguridad, y a eliminar los datos recopilados sobre ellos. El CCPA también prohibirá la discriminación contra los consumidores que opten por no participar en la recopilación de datos.

  • Saber si una empresa recolecta tus datos.
  • Conocer qué datos han sido recopilados sobre ti en los últimos 12 meses.
  • Expresar tu rechazo a la recolección de datos.
  • Prohibir que los datos recopilados sean cedidos o vendidos a terceros.

Para ello, toda página web o aplicación debe contar con un «botón» que de forma clara permita al usuario ejercer estos derechos.

Se trata de un éxito sin precedentes, que abre la puerta a una legislación a nivel federal sobre los derechos de privacidad en Internet, pero también ha provocado la respuesta inmediata de la industria tecnológica de Silicon Valley. A través de diferentes cauces ya ha presentado una serie de enmiendas a la CCPA de cara a diluir su efecto real en el tratamiento y gestión de datos de los usuarios.

Google además advierte del daño a las pequeñas empresas y emprendedores que acarreará la implementación de la CCPA, alega que se trata de matizar el lenguaje de la ley para permitir la subsistencia de los actuales modelos de negocio basados en los datos de sus usuarios. Por ejemplo, el texto de la ley limita y lista actividades específicas en las que se permite la cesión de los dados tratados, entre ellos «auditoría y seguridad» y propone que sea sustituido por «negocios cuyos propósitos incluyan» abriendo la puerta a mantener el actual status quo.

Por ello, Mactaggart ha anunciado que se encuentra trabajando en la elaboración de un nuevo texto base para conseguir ampliar las garantías de la CCPA. La CCPA, señala, se centra en la venta de datos personales, pero no aborda directamente el uso de esos datos por la fuente que los recogió originalmente. Su nueva propuesta busca proteger la «información personal confidencial». Los datos que estarían cubiertos por esa definición incluyen información de geolocalización, números de Seguro Social, números de pasaporte y datos sobre raza, religión, afiliación sindical, y orientación sexual, entre otras categorías». Propone además la creación de una nueva agencia de protección de datos independiente, inspirada en el organismo regulador de la Unión Europea.

Derechos recogidos en la CCPA

La Ley de Privacidad del Consumidor de California (CCPA), promulgada en 2018, crea nuevos derechos de los consumidores relacionados con el acceso, la eliminación, y la cesión de información personal, que se recaba por las empresas.

Es decir, la CCPA recoge el derecho de los consumidores a saber qué información recopilan las empresas sobre ellos, para qué propósito y con quién la comparten. Los usuarios podrán solicitar a las empresas la eliminación de sus datos personales, y manifestar su deseo de no permitir su venta o divulgación a terceros.

Por su parte, las empresas deberán mostrar en un lugar visible de su página web o aplicación un enlace con el texto «Do Not Sell My Personal Information», para que los consumidores puedan ejercer estos derechos.

La CCPA se aplica sobre las empresas que, con independencia de su domicilio social, traten con datos de residentes en el estado de California y cumplan los siguientes requisitos:

  • Contar con un beneficio anual bruto superior a 25 millones de dólares;
  • Tratar con información de un mínimo de 50.000 usuarios, dispositivos u hogares, o;
  • Obtener como mínimo el 50 por ciento de sus ganancias de la venta de información personal.

Toda actividad comercial que se incluya en las condiciones establecidas por la CCPA deberá cumplir con una serie de obligaciones para aumentar la transparencia en el tratamiento que hacen de los datos, entre los que se encuentran:

  • Informar a los consumidores si tienen intención de vender sus datos. Además, tienen prohibida la venta de datos de menores de 16 años a menos que se autorice.
  • Incluir una política de privacidad en la web donde se especifique la información recogida y el propósito.
  • Proporcionar mecanismos para que los consumidores puedan solicitar información acerca de sus datos y responder a las solicitudes sin coste.
  • No discriminar a aquellos consumidores que deciden eliminar sus datos, impedir su venta o ejercer algún otro derecho. No obstante, las empresas sí pueden ofrecer incentivos financieros a los consumidores por el tratamiento de sus datos.

Información personal

La información personal bajo la CCPA incluye:

  1. Identificadores directos (tales como el nombre real, alias, dirección postal, números de la seguridad social);
  2. Identificadores únicos (cookies, dirección de IP y nombres de usuario);
  3. Datos biométricos (como el rostro y las grabaciones de voz);
  4. Datos de geolocalización (tales como el historial de localización);
  5. Actividad internauta (historial de navegación, búsquedas realizadas, interacción de datos con una web o una aplicación);
  6. Información sensible (datos sobre salud, características personales, comportamiento, religión, convicciones políticas, preferencias sexuales, empleo o datos educativos, historial médico o información financiera).

La información personal también incluye datos que por deducción pueda desembocar en la identificación de un individuo o una unidad familiar, además de datos que pueda ser de cualquier modo re-identificable. Esto significa que datos que por sí mismos no son información personal pueden serlo bajo la CCPA si pueden ser usados -por deducción o combinación con otros datos- para identificar un individuo o una unidad familiar.

Incumplimiento y sanciones

El incumplimiento de la CCPA puede desembocar en multas para las empresas de 7.500$ por infracción y 750$ por usuario afectado en concepto de daños y perjuicios civiles.

El poder para hacer cumplir la CCPA recae en la oficina del Fiscal general de California, quien, hasta julio de 2020 tiene que especificar la regulación de dicha aplicación. Sin embargo, el periodo provisional entre enero y julio de 2020 no se convierte en un periodo de gracia y las empresas están sujetas a demandas civiles por la recogida y venta de datos desde el 1 de enero de 2020.

Enmiendas a la CCPA

El Procurador General de California ha preparado el siguiente título y resumen del propósito y los puntos de la medida propuesta: Modifica las leyes de privacidad del consumidor. Estatuto de la iniciativa. Permite a los consumidores:

  1. Evitar que las empresas compartan información personal;
  2. Corregir la información personal inexacta;
  3. Limitar el uso de «información personal sensible» por parte de las empresas, como por ejemplo geolocalización; raza; etnia; religión; datos genéticos; afiliación sindical; comunicaciones privadas; y cierta orientación sexual, salud e información biométrica.

Además,

  • Cambia los criterios para los cuales los negocios deben cumplir con estas leyes.
  • Prohíbe la retención de información personal por parte de las empresas durante más tiempo del razonablemente necesario.
  • Triplica las penas máximas para las violaciones relativas a consumidores menores de 16 años.
  • Establece la Agencia de Protección de la Privacidad de California para hacer cumplir y implementar las leyes de privacidad del consumidor, e imponer multas administrativas.
  • Requiere la adopción de reglamentos sustantivos.

En cuanto a la estimación del impacto fiscal en los gobiernos estatales y locales, la fiscalía apunta a:

  • Aumento de los costos estatales anuales de aproximadamente $10 millones de dólares para una nueva agencia estatal que supervise el cumplimiento y la aplicación de la privacidad del consumidor leyes.
  • El aumento de los costos estatales, que potencialmente alcanzarían los millones de dólares anuales, por el aumento de la carga de trabajo administrativo y de los tribunales estatales, que se compensaría en parte o en su totalidad con ingresos por multas.
  • Imposibilidad de establecer el impacto en los ingresos tributarios estatales y locales causados por los efectos económicos resultantes de los nuevos requisitos de las empresas para proteger la información de los consumidores.

Palacio sede del Consejo de Estado - Italia

Recientemente el Consejo de Estado (Consiglio di Stato), el principal órgano judicial-administrativo y consultivo italiano, emitió una interesante decisión relativa a la posibilidad y la legalidad de que la administración pública se base en procedimientos y decisiones basados en algoritmos.

En el caso en cuestión, la controversia se refería al resultado de un procedimiento de contratación extraordinaria de maestros de escuela, llevado a cabo por el Ministerio de Educación italiano: en el contexto de ese procedimiento, se asignaron geográficamente diferentes lugares de trabajo a los maestros contratados.

Este procedimiento -basado únicamente en un algoritmo que, en opinión de los profesores, no funcionaba correctamente- organizaba los traslados sin tener debidamente en cuenta las preferencias expresadas por los profesores, incluso en presencia de plazas disponibles en las zonas geográficas preferidas. En esencia, el mecanismo de movilidad extraordinaria resultó perjudicial para los profesores que fueron trasladados a provincias alejadas de la de su residencia o de la elegida con prioridad en el momento de su solicitud de empleo.

Aunque consideró ilegítimo el algoritmo utilizado en el caso concreto, el Consejo no excluyó en absoluto la posibilidad de que la administración pública adoptara algoritmos: más bien señaló que la administración pública podrá explotar el importante potencial de la llamada «revolución digital», utilizando también algoritmos, pero sólo en determinadas condiciones. Según el Consejo, la utilización de algoritmos informáticos para la adopción de decisiones que afectan a la esfera pública y privada debe evaluarse siempre en términos de eficacia y neutralidad: esto significa que la utilidad de los algoritmos para la gestión del interés público puede ser particularmente útil en lo que respecta a procedimientos, como el que nos ocupa, que son seriados o normalizados, que implican la tramitación de grandes cantidades de solicitudes, y que se caracterizan por el acopio de determinados elementos objetivamente demostrables y por la ausencia de toda apreciación discrecional.

En opinión del Consejo de Estado italiano, la plena admisibilidad de esos instrumentos podría responder a los criterios de eficiencia y eficacia en función de los costos de la acción administrativa, que, de conformidad con el principio constitucional de buena ejecución de la acción administrativa (artículo 97 de la Constitución italiana), exigen que la administración alcance sus objetivos con el menor gasto de recursos y mediante la racionalización y aceleración del procedimiento público.

El uso del algoritmo debe estar correctamente enmarcado en términos de medidas organizativas, medios procesales y de investigación, sujeto a los requisitos, comprobaciones y controles típicos de cualquier procedimiento administrativo, asegurando que la elección autorizada se lleve a cabo sobre la base de la ley que atribuye el poder y los propósitos a la autoridad pública. El Consejo destacó tres principios interesantes, relativos a los algoritmos potencialmente adoptados por la administración pública.

  • En primer lugar, el «principio de conocimiento», en virtud del cual toda persona tiene derecho a conocer la existencia de los procesos automatizados de adopción de decisiones que le conciernen y a recibir información significativa sobre su lógica. Esta norma constituye una aplicación específica directa del arte. 41 de la Carta de Derechos Fundamentales de la Unión Europea, en el que se establece que cuando la Administración Pública se proponga adoptar una decisión que pueda tener efectos adversos para una persona, tiene la obligación de «motivar su decisión» y la persona interesada tiene derecho a ser oída y a tener acceso a sus archivos y documentos. El Consejo subrayó que el derecho a saber debe ir acompañado de mecanismos capaces de descifrar la lógica del algoritmo. En esta perspectiva, el principio de la conocibilidad se completa con el principio de la comprensibilidad, es decir, la posibilidad de recibir información significativa sobre la lógica en cuestión, así como sobre el significado y las consecuencias previstas de ese tratamiento para el interesado. Sin embargo, al leer la decisión, parece que el Consejo de Estado no consideró esencial y obligatoria la divulgación completa y exhaustiva del código algorítmico.
  • En segundo lugar, el Consejo identificó el «principio de no exclusividad» de la decisión algorítmica, que se deriva del Artículo 22 Reg. UE 2016/679 (GDPR). Una persona tendrá derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos que le conciernan o que le afecten de forma similar y significativa, teniendo derecho a obtener, al menos, una intervención humana por parte del responsable del tratamiento (la administración pública, el Ministerio de Educación en el caso concreto), a expresar su punto de vista y a impugnar la decisión.

Hubertus Heil - Ministro Federal de Trabajo de Alemania

El antecedente alemán

El Ministro de Trabajo Hubertus Heil (SPD) quiere reconocer el derecho a trabajar desde casa después de la crisis del coronavirus. Los sindicatos y las empresas le apoyan, pero la respuesta obedece a una demanda más general.

El porcentaje de trabajadores que realizan su trabajo desde casa ha aumentado en Alemania del 12 al 25% del total de asalariados durante la pandemia. Heil declaró al periódico «Bild am Sonntag»

Estamos trabajando en una nueva ley para el derecho a «la oficina en casa» [nombre popular del teletrabajo en Alemania], que presentaremos en otoño. Todo aquel cuyo lugar de trabajo lo permita, debería poder trabajar si lo desea en remoto. La idea es que los trabajadores puedan mudar su puesto de trabajo a casa, bien de forma permanente, bien uno o dos días a la semana. Con la pandemia, estamos dándonos cuenta de la cantidad de trabajo que actualmente puede ser realizado en remoto.

Con «reglas justas» Heil quiere evitar que «el trabajo se meta demasiado en la esfera privada». También debe haber una hora de cierre en la oficina en casa – «y esta hora no puede ser las 10 de la noche». El trabajo a domicilio debería ser una opción voluntaria para los empleados. «Queremos hacer posible más tele-trabajo, pero no forzarlo», dijo Heil.

El partido social-demócrata (SPD) que integra la coalición liderada por la canciller Angela Merkel, ya había defendido en diciembre de 2019 –mucho antes de que la pandemia obligara al confinamiento en Alemania y en gran parte del mundo– el establecimiento del derecho a trabajar desde casa.

El vicecanciller y ministro federal de finanzas, Olaf Scholz, también elogió en público las ventajas del tele-trabajo. «Las últimas semanas han demostrado lo mucho que se puede hacer trabajando desde casa»; «Es un verdadero logro, del que no debemos quedarnos atrás», añadió el Ministro de Hacienda al periódico «Bild am Sonntag».

La iniciativa tiene el apoyo de los sindicatos, entre otras organizaciones. El miembro de la junta de Ver.di (Vereinte Dienstleistungsgewerkschaft – en español, Sindicato Unido de Servicios), Christoph Schmitz, declaró que desde el sindicato:

«Exigimos el derecho a una oficina en casa» y añadió que deben seguir cumpliéndose ciertas condiciones, «por un lado, las cuestiones operativas y la voluntad de los clientes han de tener un papel central, y por otro, la salud y la seguridad en el trabajo deben garantizarse de forma integral, lo que abarca desde los equipos de trabajo ergonómicos hasta el registro del tiempo de trabajo».

¿Por qué la medida genera consenso social CDU-SPD, empresariado-sindicatos?

La medida podría afectar a un 20% de la fuerza de trabajo alemana. La experiencia de lo que en Alemania llaman la «oficina en casa» ha sido muy positiva durante el confinamiento… tanto para empresarios como para trabajadores. Y algo muy similar ha ocurrido en Francia.

Las empresas han visto la oportunidad de reducir gastos fijos en oficinas y servicios ligados. En no pocos casos especulan incluso con la posibilidad de vender plantas o edificios, sin perder capacidad de crecimiento. Porque el hecho es que tener un cierto porcentaje de la plantilla en remoto permite tener una fuerza de trabajo más flexible y capaz de crecer según las necesidades de la demanda.

Por otro lado, en países como Alemania hace mucho que las metodologías online de gestión de proyectos y organización de equipos ya estaban muy implantadas dentro de las oficinas más allá de los sectores originales (finanzas, software, etc.). Esto ha convertido el paso al teletrabajo en una ganancia real de productividad que los trabajadores han percibido sin embargo como una ganancia en su capacidad de conciliación laboral-familiar… y un ahorro en tiempos y gastos de transporte.

¿Qué significa regular el teletrabajo como un derecho?

El teletrabajo es un espacio social propio en el que se solapan los derechos laborales y los digitales.

Es muy significativa la experiencia durante la pandemia en Portutal. Este país instauró la modalidad de teletrabajo en todas las actividades susceptibles de ser trasladadas a los domicilios de los empleados. Sin embargo, las medidas de control establecidas por las empresas hicieron necesaria la intervención de la Comisión Nacional de Protección de Datos. La Comisión estableció los límites al empleador, y, entre otros, asentaba la imposibilidad de obligar al trabajador a mantener la cámara permanentemente activa, la prohibición de grabar videoconferencias, así como de someter a control remoto su actividad mediante softwares específicos (TimeDoctor, Hubstaff, Timing, ManicTime, TimeCamp, Toggl o Harvest).

El problema portugués no puede interpretarse como un conflicto por el control de los trabajadores en el tiempo de trabajo, sino como el producto de una desincronización cultural. La pandemia impuso el teletrabajo en entornos empresariales que no habían implantado todavía la revolución digital en lo que toca a los servicios empresariales. A diferencia de Alemania, en buena parte del aparato administrativo de las empresas portuguesas las metodologías de trabajo por metas y objetivos se consideran todavía exclusivas de los servicios avanzados y la digitalización de la gestión de equipos -presenciales o no- no es todavía hegemónica en el paisaje organizacional.

El teletrabajo supone ganancias de productividad cuando se organiza con metodologías modernas de gestión de equipos en torno a tiempos, metas y objetivos. El mercado hace ya mucho que ofrece decenas de soluciones con diversos enfoques de planificación y gestión de proyectos online (BaseCamp, Asana, etc.). Este tipo de organización del trabajo ha demostrado aumentar de manera efectiva la productividad de los servicios avanzados sin necesidad de cronometraje.

La forma de dar el salto de una situación similar a la de Portugal a una como la de Alemania, e incrementar con ello la productividad de los servicios dentro de las empresas, es impulsar mediante regulación la concepción del teletrabajo que es hegemónica en EEUU, Gran Bretaña, Alemania o los países escandinavos.

Brecha Digital - Conectividad a Internet

Un reciente estudio publicado hace unas semanas en EE.UU estima que 42 millones de personas carecen de Internet de banda ancha. Un miembro de la Comisión de Comunicaciones advierte de la importancia de frenar la brecha digital y dar acceso a Internet de banda ancha a toda la población como medida de garantía social.

Una propuesta para el gobierno federal de Geoffrey Starks, miembro de la Comisión Federal de Comunicaciones.

Una medida clara y consistente durante la pandemia del Coronavirus está siendo quedarse en casa. Para muchas personas eso significa llevar el grueso de las actividades diarias -trabajo, colegio de los niños, atención médica, relaciones con los seres queridos- a través de Internet. Sin embargo, esto no es algo posible para todos.

Durante las próximas semanas se pondrá al descubierto, la cruda realidad de la brecha digital: decenas de millones de estadounidenses no pueden acceder a Internet o no pueden permitirse las conexiones de banda ancha en casa que necesitan para teletrabajar, acceder a la información médica o ayudar a los jóvenes a seguir un programa educativo cuando los colegios están cerrados. En un momento en el que la salud pública requiere distanciamiento social e incluso cuarentena, cerrar la brecha digital se convierte en algo central para nuestra propia seguridad, incluida la económica.

Eliminar la brecha digital de forma permanente es un problema a largo plazo que requiere recursos y compromisos sostenidos. El gobierno federal y el sector de la tecnología y las comunicaciones deben trabajar juntos para tomar medidas inmediatas y de emergencia para hacer llegar la banda ancha de calidad a los hogares de las zonas afectadas por el coronavirus. Esto es lo que debería incluir un plan de estímulo de conectividad:

Cada año, la Comisión Federal de Comunicaciones gasta unos 8.000 millones de dólares para llevar los servicios de comunicaciones a zonas rurales y a estadounidenses de bajos ingresos. Durante esta crisis, debemos utilizar rápidamente estos fondos para aumentar el número de accesos gratuitos disponibles en escuelas y bibliotecas públicas, ampliar el alcance de la telemedicina y mejorar el programa Lifeline, único programa federal con la única misión de llevar conexiones asequibles a los estadounidenses de bajos ingresos, un aspecto crítico en estos tiempos de turbulencia económica. Esta no sería la primera vez que la Comisión ha ampliado el programa Lifeline ante una crisis; en la etapa de George W. Bush lo reforzó a raía del huracán Katrina. Esto además tendría el beneficio añadido de inyectar dinero a la economía nacional mientras el Congreso analiza otras medidas de estímulo.

También deberíamos eliminar los trámites burocráticos y ampliar la flexibilidad normativa cuando ello permita a los proveedores de banda ancha ampliar rápidamente el acceso a Internet. La Comisión podría, por ejemplo, acelerar las decisiones sobre exenciones y licencias experimentales que permitirían a los proveedores desplegar el espectro inalámbrico no utilizado o utilizado de manera ineficientes, así como nuevas tecnologías para aumentar su capacidad y alcance.

A menudo pensamos que la brecha digital es un problema rural, pero las encuestas del censo muestran que el número de hogares que no están conectados en zonas urbanas es tres veces mayor que en las rurales. El coste, es en distritos urbanos la razón más frecuente. Basándose en los datos de Pew y en la Encuesta de la Comunidad Americana, el investigador John Horrigan estima que más de 18 millones de hogares carecen de banda ancha porque es demasiado cara. Para satisfacer las necesidades de las personas de bajos ingresos, algunos proveedores de banda ancha ya ofrecen una tarifa social. En tiempos de emergencia, ningún estadounidense debería quedarse sin conexión debido a su coste.

Deberíamos alentar a todos los proveedores de banda ancha a que se unan al esfuerzo de respuesta al coronavirus creando o ampliando las opciones de bajo precio para las conexiones básicas a Internet. Algunos ya lo han hecho, no obstante debemos hacer más por las familias con bajos ingresos, que ya soportan demasiadas cargas además de esta crisis de salud y sus consecuencias económicas.

Por último, en vista del número de estadounidenses que trabajarán a distancia, utilizarán la telemedicina, asistirán a clases online y en general utilizarán más Internet, los proveedores deben renunciar a los topes de datos en las zonas afectadas durante los próximos 60 días. Esta medida sin duda supondrá un coste para las empresas de telecomunicaciones, pero reconoce la urgencia del momento. También deberíamos alentar a los proveedores de servicios inalámbricos a que utilicen las herramientas de que disponen para desastres naturales y otras emergencias, como centro móviles de conectividad para dar servicio a las zonas que carecen de banda ancha.

Primera sentencia Europea contra el uso de algoritmos

El tribunal distrito de La Haya ha dictado sentencia en contra de un sistema algorítmico utilizado por el Gobierno de los los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda.

El tribunal encuentra que el algoritmo:

  • No cumple con el «equilibrio justo» que debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada
  • Tiene un efecto significativo en la vida privada de la persona a la que se refiere.
  • Considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado.
  • No prevé ninguna obligación de información a las personas cuyos datos se tratan.
  • Tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Como consecuencia, el tribunal concluye que:

  • Es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste.
  • Circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Comentarios a la sentencia del Diario La Ley

El tribunal distrito de La Haya declara que el sistema establecido por el gobierno holandés para valorar el nivel de riesgo de defraudación de los ciudadanos, no cumple las exigencias de proporcionalidad, carece de transparencia y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos.

El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos, por lo que es contrario a la ley.

Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluación de características personales de los ciudadanos. Su difusión ha coincidido, además, con el anuncio de la Comisión de que en breves fechas va a presentar una propuesta de regulación de la IA en la Unión, y con una recientísima decisión del Parlamento Europeo por la que solicita a la Comisión que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protección de los consumidores y la libre circulación de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicación por la AEPD de la Guía de Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial.

Los Hechos

Según la sentencia, cuyo texto está disponible en neerlandés, el denominado Sistema de Indicación de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerlandés utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.

El sistema se basa en la asignación del nivel de riesgo de que una determinada persona cometa fraude a los ingresos públicos, en función de una serie de parámetros analizados y relacionados entre sí.

Esta medida, instaurada a solicitud de determinadas agencias y organismos públicos, a la vista del elevado volumen de fraude detectado en el país, se basa en la denominada Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo artículo 65.2 permite la elaboración de informes de riesgos para evaluar el riesgo de que una persona física o jurídica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos públicos.

De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género y características administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida información sobre bienes muebles e inmuebles; datos sobre motivos de exclusión de asistencia o beneficios; datos comerciales; datos de integración, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integración a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligación de reintegro de prestaciones públicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realización de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona está asegurada en virtud de la Ley de seguro de salud.

El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los números de seguridad social y las direcciones por un código (seudónimo). A continuación se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, física o jurídica, o una dirección, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del análisis de riesgos por una unidad de análisis específica. En la segunda fase, los datos descifrados son analizados por esta unidad de análisis, que asigna un nivel de riesgo definitivo.

La decisión del tribunal

Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y según la sentencia del tribunal local de La Haya, la legislación que sustenta la aplicación de este algoritmo, no cumple con el requisito establecido en el Artículo 8, párrafo 2 del CEDH, de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democrática. Es decir, que sea necesaria y proporcional en relación para el propósito previsto.

En particular, estima que esta legislación no cumple con el «equilibrio justo» (fair balance, en el original) que de acuerdo con el CEDH debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada que supone, para poder estimar suficientemente justificada esta intromisión.

En su evaluación, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protección de datos en virtud del Derecho de la Unión (la CEDH y el RGPD), en particular en los principios de transparencia, de limitación del tratamiento de minimización de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.

Efectos del informe de riesgos sobre la vida privada de las personas

En opinión del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere.

El tribunal también deriva esa conclusión de las directrices del Grupo de Trabajo del artículo 29 del de Protección de Datos de 4 de diciembre de 2008, según las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso más extremo, conducir a su exclusión o discriminación.

Una finalidad legítima, perseguida por unos medios desproporcionados

El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Países Bajos justifica la aplicación de mecanismos de control y supervisión que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnologías proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisión más efectiva.

Pero, añade, en este desarrollo, el derecho a la protección de datos es cada vez más importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilación y el análisis de datos con la ayuda de estas nuevas tecnologías puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.

Falta de transparencia del algoritmo

El principio de transparencia es el principio rector de la protección de datos que subyace y está consagrado en la CEDH y en el RGPD (arts. 5.1 a) y 12).

El tribunal considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.

Además, aprecia que la normativa reguladora del algoritmo no prevé ninguna obligación de información a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Relevancia de la falta de transparencia

Como resultado de lo anterior, concluye el tribunal, es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Macron durante discuros sobre IA y redes digitaless

El día 7 de febrero, el presidente Emmanuel Macron dio un discurso en la «École de Guerre». Era la primera vez desde De Gaulle que un presidente francés, sentaba, en tanto que comandante de los ejércitos nacionales, la doctrina militar frente a los mandos y cuadros de las fuerzas armadas y de seguridad.

La razón era establecer y responder a una serie de rupturas, que hemos visto emerger y ahora consolidarse, durante los últimos cinco años, que en conjunto producen un cambio global de la profundidad e importancia equivalentes a las de la caída del bloque soviético en 1989-92. Estas tres rupturas son de orden estratégico (competencia entre EEUU y China), jurídico (crisis del multilateralismo y el orden legal internacional) y finalmente, tecnológico.

La tecnología es, de hecho, un problema, un perturbador y un árbitro de los equilibrios estratégicos al mismo tiempo. El despliegue de 5G, la nube para el almacenamiento de datos, así como los sistemas operativos son ahora infraestructuras estratégicas en el mundo de hoy. En los últimos años, sin duda hemos considerado con demasiada frecuencia que se trata de soluciones comerciales, simplemente industriales o comerciales, mientras que estamos hablando de infraestructuras estratégicas para nuestras economías, obviamente, y para nuestros ejércitos.

La aparición de nuevas tecnologías, como la inteligencia artificial, las aplicaciones de la física cuántica y la biología sintética, ofrece muchas oportunidades, pero también una fuente de inestabilidad futura.

La tecnología digital es una fuente de innovación sin límites, e inspira todos los entornos físicos. Al convertirse en un campo de confrontación por derecho propio, su dominio exacerba las rivalidades entre las potencias, que lo ven como un medio para adquirir superioridad estratégica. También ofrece posibilidades sin precedentes para la vigilancia masiva de las poblaciones y el ejercicio del autoritarismo digital.

En tiempos de crisis, estos avances tecnológicos pondrán más énfasis en nuestras capacidades analíticas y de toma de decisiones, que se encuentran divididas entre la exhaustividad, la veracidad y la capacidad de respuesta. En este sentido, aumentan los riesgos de deslizamiento y exigen la aplicación de mecanismos sólidos y transparentes de desconexión.

No solo la referencia al riesgo de deslizamiento por soluciones creativas de las IAs -en el manejo del arsenal nuclear, por ejemplo- apunta a preocupaciones mucho más sofisticadas de las habitualmente recogidas en la prensa. Existe una preocupación franca por la relación entre soberanía y tecnología. El Presidente no podía ser más claro al afirmar que:

Para construir la Europa del mañana, nuestros estándares no pueden estar bajo el control americano, nuestras infraestructuras, nuestros puertos y aeropuertos bajo el capital chino y nuestras redes digitales bajo la presión rusa.

Es decir, las estructuras tecnológicas no son meros soportes a la actividad comercial. Son elementos estratégicos centrales de cualquier política de seguridad nacional en nuestro siglo.

Este es el caso de las infraestructuras 5G, la nube, que es decisiva para el almacenamiento de datos, los sistemas operativos, las redes de cable submarino, que son el centro neurálgico de nuestra economía globalizada. A nivel europeo, también necesitamos controlar nuestro acceso al espacio y decidir por nosotros mismos las normas que se imponen a nuestras empresas.

Esta política de normas, esta política de infraestructuras estratégicas, es esencial. Y es esencial para nuestra seguridad colectiva y nuestra capacidad de actuar. Vivimos en un mundo de interoperabilidad, con equipos cada vez más digitales. Gastar lo que estamos gastando para tener un equipo perfecto y entregar la infraestructura de conexión, entre nuestro equipo y nuestros países, a otros, sin ninguna garantía, seguiría siendo extrañamente ingenuo. Disculpen sin no deseo participar.

Tablero de Go

A continuación reproducimos dos artículos en los que la comunidad científica alertan sobre la imposibilidad de comprender cómo aprenden los sistemas de inteligencia artificial, y por lo tanto, las limitaciones para replicar resultados positivos.

Investigadores de Inteligencia artificial afirman que el aprendizaje automático es alquimia

Matthew Hutson, Revista Science- 3 de mayo de 2018

Ali Rahimi, uno de los investigadores en inteligencia artificial de Google lanzó un directo a la comunidad científica el pasado diciembre y recibió una ovación de 40 segundos por ello. Hablando en una conferencia sobre IA, Rahimi denunció que los algoritmos de aprendizaje automático, con los que las computadoras aprenden a través del ensayo y el error, se han convertido en una forma de «alquimia». Los investigadores, dijo, no saben por qué algunos algoritmos funcionan y otros no, ni tienen criterios rigurosos para elegir una arquitectura de IA en lugar de otra. Ahora, en un documento presentado el 30 de abril en la Conferencia Internacional sobre Representaciones del Aprendizaje en Vancouver, Rahimi y sus colaboradores documentan ejemplos de lo que consideran el problema de la alquimia y ofrecen recetas para reforzar el rigor de la IA.

«Hay angustia en el sector», dice Rahimi. «Muchos de nosotros sentimos que estamos operando con tecnología alienígena».

El problema es distinto del de la reproducibilidad del IA, en el que los investigadores no pueden replicar los resultados de los demás debido a la inconsistencia de las prácticas experimentales y de publicación. También difiere del problema de la «caja negra» o «interpretabilidad» en el aprendizaje automático. El problema es: la dificultad de explicar cómo ha llegado a sus conclusiones una determinada IA. Como dice Rahimi, «quiero diferenciar entre un sistema de aprendizaje automático que es una caja negra y un campo entero que se ha convertido en una caja negra».

Sin un conocimiento profundo de las herramientas básicas necesarias para construir y entrenar nuevos algoritmos, dice, los investigadores que crean IAs recurren a los rumores, como los alquimistas medievales. «La gente gravita en torno a las prácticas de culto cargo», basándose en «el folclore y los hechizos mágicos», añade François Chollet, un informático de Google en Mountain View. Por ejemplo, dice, adoptan métodos conductistas de entrenamiento para ajustar los «ritmos de aprendizaje» de sus IAs -cuánto se corrige un algoritmo después de cada error- sin entender por qué uno es mejor que otro. En otros casos, los investigadores que entrenan sus algoritmos simplemente tropiezan en la oscuridad. Por ejemplo, implementan lo que se denomina «descenso estocástico por gradiente» con el fin de optimizar los parámetros de un algoritmo para obtener la tasa de fallo más baja posible. Sin embargo, a pesar de los miles de trabajos académicos sobre el tema y de las innumerables maneras de aplicar el método, el proceso sigue basándose en el ensayo y el error.

El artículo de Rahimi destaca el esfuerzo desperdiciado y el rendimiento subóptimo que este problema produce. Por ejemplo, observa que cuando otros investigadores quitaron la mayor parte de los elementos más complejos de un algoritmo de traducción de idiomas de última generación, en realidad tradujo del inglés al alemán o al francés mejor y de manera más eficiente, lo que demuestra que sus creadores no entendían plenamente para qué servían esas partes adicionales. Por el contrario, a veces la parafernalia añadida a un algoritmo es la única parte buena, dice Ferenc Huszár, un investigador de aprendizaje de máquinas de Twitter. En algunos casos, dice, el núcleo de un algoritmo es técnicamente defectuoso, lo que implica que sus buenos resultados son «atribuibles totalmente a otros trucos puestos encima».

Rahimi ofrece varias sugerencias para averiguar qué algoritmos funcionan mejor y cuándo. Para empezar, dice, los investigadores deberían realizar «estudios de ablación» como los realizados con el algoritmo de traducción: borrar partes de un algoritmo una por una para ver la función de cada componente. Pide un «análisis por partes», en el que se analice detalladamente el rendimiento de un algoritmo para ver cómo las mejoras en algunas áreas pueden tener un coste en otras. Y dice que los investigadores deberían probar sus algoritmos con muchas condiciones y ajustes diferentes, y deberían reportar el desempeño de todos ellos.

Ben Recht, un científico informático de la Universidad de California, Berkeley, y coautor de la charla principal de Rahimi sobre la alquimia, dice que la IA necesita imitar a la física, donde los investigadores a menudo reducen un problema a un pequeño «problema de juguete». «Los físicos son increíbles en idear experimentos sencillos para conseguir explicar fenómenos», dice. Algunos investigadores de IA ya están adoptando ese enfoque, probando algoritmos de reconocimiento de imágenes en pequeños caracteres escritos a mano en blanco y negro antes de abordar grandes fotografías en color, para comprender mejor la mecánica interna de los algoritmos.

Csaba Szepesvári, un científico informático de DeepMind en Londres, dice que el campo también necesita reducir su énfasis en las pruebas competitivas. En la actualidad, es más probable que se publique un artículo si el algoritmo reportado supera algún punto de referencia que si el artículo arroja luz sobre el funcionamiento interno del software, dice. Así es como el algoritmo de traducción de fantasía llegó a través de la revisión por pares. «El propósito de la ciencia es generar conocimiento», dice. «Quieres producir algo que otras personas puedan utilizar y construir».

No todos están de acuerdo con la crítica de Rahimi y Recht. A Yann LeCun, científico jefe de AI en Facebook, le preocupa que el hecho de apartar demasiado esfuerzo de las técnicas de vanguardia hacia la comprensión básica podría frenar la innovación y desalentar la adopción de la IA en el mundo real. «No es alquimia, es ingeniería», dice. «La ingeniería es un lío».

Recht ve un lugar para la investigación metódica y aventurera por igual. «Necesitamos ambas cosas», dice.

«Necesitamos entender dónde están los puntos de fallo para poder construir sistemas confiables, y tenemos que llevar más allá los límites para poder tener sistemas aún más impresionantes en el futuro».

La Inteligencia artificial se enfrenta a una crisis de reproducibilidad

Gregory Barber, Revista Wired – 16 de septiembre de 2019

Hace unos años, Joelle Pineau, profesora de informática en McGill, ayudaba a sus estudiantes a diseñar un nuevo algoritmo cuando éstos tropezaron con obstáculo en apariencia, imposible de salvar. Su laboratorio estudia el aprendizaje de refuerzo, un tipo de inteligencia artificial que se utiliza, entre otras cosas, para ayudar a los personajes virtuales a aprender a moverse en los mundos virtuales. Es un requisito previo para construir robots y coches autónomos. Los estudiantes de Pineau esperaban mejorar el sistema de otro laboratorio. Pero primero tuvieron que reconstruirlo, y su diseño, por razones desconocidas, no alcanzaba los resultados prometidos. Hasta que los estudiantes probaron algunas «manipulaciones creativas» que no aparecían en el trabajo del otro laboratorio.

Y he aquí que el sistema comenzó a funcionar como se anunciaba. El golpe de suerte fue un síntoma de una tendencia preocupante, según Pineau. Las redes neuronales, la técnica que nos han dado los robots Go-mastering y los generadores de texto que crean la poesía clásica china, a menudo se llaman cajas negras debido a los misterios de cómo funcionan. Lograr que se desempeñen bien puede ser como un arte, que involucra ajustes sutiles que no se reportan en las publicaciones. Las redes también son cada vez más grandes y complejas, con enormes conjuntos de datos y arreglos informáticos masivos que encarecen la posibilidad de réplica y el estudio de esos modelos, haciendo su reproducción imposible, excepto para los laboratorios mejor financiados.

Anna Rogers, investigadora de machine learning de la Universidad de Massachusetts, se pregunta si eso sigue siendo acaso investigación.

«No está claro si estás demostrando la superioridad de tu modelo o tu presupuesto».

Pineau está tratando de cambiar los estándares. Es la presidenta de reproducibilidad de NeurIPS, un congreso de inteligencia artificial de primer nivel. Bajo su supervisión, el congreso pide ahora a los investigadores que presenten una «lista de comprobación – o checklist- de la reproducibilidad» que incluya elementos que a menudo se omiten en las ponencias, como el número de modelos entrenados antes de que se seleccionara «el mejor», la potencia de cálculo utilizada y los enlaces al código y a los conjuntos de datos. Es todo un cambio para un campo donde el prestigio se basa en clasificaciones que determinan qué sistema es el «estado del arte» para una tarea en particular, y ofrece un gran incentivo para pasar por alto las tribulaciones que llevaron a esos resultados espectaculares.

La idea, dice Pineau, es animar a los investigadores a ofrecer una hoja de ruta para que otros repliquen su trabajo. Una cosa es maravillarse de la elocuencia de un nuevo generador de texto o de la agilidad sobrehumana de un robot de videojuegos. Pero incluso los investigadores más sofisticados tienen una idea muy vaga de cómo funcionan. Replicar esos modelos de IA es importante para identificar nuevas vías de investigación, y además supone una manera de investigar algoritmos a medida que aumentan, y en algunos casos suplantan, la toma de decisiones humanas -desde quién ingresa en prisión y por cuánto tiempo hasta quién recibe una hipoteca.

No son los únicos que están denunciando el problema. Los investigadores de Google han propuesto las llamadas «tarjetas modelo» para detallar cómo se han sido testados los sistemas de machine learning, incluyendo resultados que señalan posibles sesgos. Otros han intentado mostrar lo frágil que es el término «estado del arte» cuando los sistemas, optimizados para los conjuntos de datos utilizados en las clasificaciones, se aplican en otros contextos. La semana pasada, investigadores del Instituto Allen de Inteligencia Artificial, o AI2, publicaron un artículo que pretende ampliar la lista de control de reproducibilidad de Pineau a otras partes del proceso experimental. Lo llaman «Show your work».

«Empezar donde alguien lo dejó es un dolor porque nunca describimos completamente el montaje experimental», dice Jesse Dodge, un investigador de AI2 que fue coautor de la investigación. «Otros investigadores no podrán reproducir lo que hicimos si no contamos lo que hicimos». Lo raro, añade, es que un equipo reporte detalles básicos sobre cómo fue construido un determinado sistema. Un estudio sobre los documentos de aprendizaje de refuerzo realizada el año pasado concluyó que sólo la mitad de ellos incluía código.

A veces, falta información básica porque es propietaria, un problema especialmente recurrente en los laboratorios de empresas. Pero es más a menudo una señal de la incapacidad del campo para mantenerse al día con los cambios de métodos, dice Dodge. Hace una década, era más sencillo ver lo que un investigador cambiaba para mejorar sus resultados. Las redes neuronales, en comparación, son quisquillosas; obtener los mejores resultados a menudo implica afinar miles de pequeñas palancas, lo que Dodge llama una forma de «magia negra». Elegir el mejor modelo a menudo requiere un gran número de experimentos. La magia se vuelve cara muy rápidamente.

Incluso los grandes laboratorios corporativos, que disponen de los recursos para diseñar los sistemas más grandes y complejos, se han dado cuenta del problema. Cuando Facebook intentó replicar AlphaGo, el sistema desarrollado por Alphabet’s DeepMind para dominar el antiguo juego del Go, los investigadores parecían agotados por la tarea. Los enormes requerimientos computacionales -millones de experimentos ejecutados en miles de dispositivos durante días- combinados con código no disponible, hicieron que el sistema fuera «muy difícil, si no imposible, de reproducir, estudiar, mejorar y ampliar», escribieron en un artículo publicado en mayo. (El equipo de Facebook finalmente tuvo éxito.)

La investigación AI2 propone una solución a este problema. La idea es proporcionar más datos sobre los experimentos que se llevan a cabo. Cualquiera puede reportar el mejor modelo que obtuvo después de, digamos, 100 experimentos -el resultado que podría ser declarado «estado del arte»- pero también debería reportar el rango de rendimiento esperado si sólo tuviera el presupuesto para probarlo 10 veces, o sólo una vez.

El punto de reproducibilidad, según Dodge, no es replicar los resultados exactamente. Eso sería casi imposible dada la aleatoriedad natural de las redes neuronales y las variaciones en el hardware y el código. En su lugar, la idea es ofrecer una hoja de ruta para llegar a las mismas conclusiones que la investigación original, especialmente cuando esto implica decidir qué sistema de aprendizaje por máquina es el mejor para una tarea en particular.

Eso podría ayudar a que la investigación sea más eficiente, explica Dodge. Cuando su equipo reconstruyó algunos sistemas populares de aprendizaje de máquinas, descubrieron que para algunos presupuestos, los métodos más anticuados tenían más sentido que los que estaban a la última. La idea es ayudar a los laboratorios académicos más pequeños esbozando cómo obtener el mejor beneficio dadas sus limitaciones financieras. Un beneficio secundario, añade, es que el enfoque podría fomentar una investigación más ecológica, dado que la formación de modelos de gran escala puede requerir tanta energía como las emisiones de un coche durante su vida útil.

Pineau asegura sentirse alentada al ver a otros tratando de «abrir modelos», pero no puede asegurar que la mayoría de laboratorios se beneficien del ahorro de costos. Muchos investigadores seguirán bajo la presión de utilizar cuanta mayor capacidad de computación sea posible. Y por otro lado están las dificultades para informar sobre los resultados de la investigación. Es posible que el enfoque de AI2 de «show your work» pueda enmascarar complejidades; estas variaciones en los métodos son en parte la razón por la cual la lista de control de reproducibilidad de NeurIPS es voluntaria. Un obstáculo, especialmente para los laboratorios corporativos, es el código propietario y la confidencialidad de los datos. Si, por ejemplo, Facebook está investigando con sus fotos de Instagram, hay un problema para compartir esos datos públicamente. La investigación clínica con datos de salud es otro punto conflictivo.

En otras palabras, es difícil desarrollar estándares de reproducibilidad que funcionen sin limitar a los investigadores, especialmente a medida que los métodos evolucionan rápidamente.

La casa Azul - Presidencia de Corea

Antecedentes

En 2007, cuando se entendió que el ciberacoso se estaba convirtiendo en un problema, la Asamblea Nacional de Corea del Sur aprobó una ley que ordenaba que las identidades reales de las personas en Internet se validaran a través de sus números de registro en la seguridad social. Todo internauta pasaba a partir de ese momento a estar identificado con su nombre y apellidos reales facilitando la actuación ante agresiones digitales. La razón fundamental detrás de la ley fue que el anonimato online ofrecía una falta de transparencia y de responsabilidad, haciendo más sencillo perseverar en conductas de abuso y persecución. El ciberacosose entendía y se elevaba a problema nacional.

La ley contra el acoso online y el fin del anonimato en Internet fue aprobada. Sin embargo, tuvo escaso impacto en el comportamiento de las personas en Internet y dio pie a un lamentable suceso. El reglamento incluía que compañías de telecomunicaciones y sitios web almacenaran los datos de identificación de los usuarios; un material muy jugoso que pronto atrajo la atención de profesionales con oscuras intenciones. Los datos del 70% de los ciudadanos de Corea fueron extraídos durante una serie de ataques cibernéticos. Finalmente, en 2012, el Tribunal Constitucional declaró inconstitucionales las secciones de la ley que obligaban a facilitar datos de identidad a terceros para acceder a Internet.

Conmoción

En octubre de 2019, una de las estrellas más famosas del K-Pop, Sulli, se suicidó, trayendo de nuevo el problema del ciberbulling a la luz pública. Sulli sufría persecuciones online desde hacía años, hecho que había denunciado públicamente. Además Sulli conducía un programa en la televisión coreana orientado al público juvenil y dedicado a educar y concienciar sobre los daños producidos por el acoso cibernético.

En 2018 Sulli había solicitado a su agencia que iniciara acciones legales para intentar poner fin a las agresiones digitales que venía sufriendo. Aunque la agencia anunció que tomaría medidas, poco después declaró que no podía ejecutar el proceso ya que la dirección IP de los usuarios identificados como agresores estaba registrada en un país extranjero. Al conocerse la muerte de Sulli, el sitio web de la oficina del presidente surcoreano, Moon Jae-in, se inundó de peticiones solicitando recuperar el registro de identidad real obligatorio para comentar y publicar contenidos en sitios web.

La nueva ley

La nueva iniciativa legal, encabezada por el Nuevo Partido Alternativo, una escisión del Partido Demócrata de Corea, se centra en reducir los comentarios maliciosos que se publican en Internet. La formación política considera la muerte de Sulli un «asesinato social» y se ha mostrado inflexible en la necesidad de terminar con el anonimato en Internet.

… la muerte de Sulli es nada menos que un asesinato social. La prensa compitió en el marketing de clickbait utilizando la vida cotidiana de una
persona. Es más, los sitios web permiten y alientan la cultura de la agresión como espectáculo. Innumerables ciberdelincuentes, bajo el discurso de la libertad de prensa, pisotearon la dignidad humana de Sulli. Ahora es el momento de establecer un solución social a una cultura inhumana en Internet, haciendo valer la posición internacional de Corea como una superpotencia de Internet.

Los debates previos en torno a la Ley de Sulli han supuesto la recuperación del mandato del «nombre real», algo que resulta paradójico tras haber sido declarada anticonstitucional hace unos años. El debate de fondo refleja el delicado equilibrio entre la libertad de expresión y la garantía de los derechos de los ciudadanos en el espacio digital. Los defensores del fin del anonimato y de la ubicuidad de las plataformas digitales argumentan que la libertad de expresión es un valor vital en la
sociedad democrática, pero insultar y dañar la dignidad de otra persona está más allá de ese límite. Lee Dong-gwi, reputado profesor de psicología en la Universidad de Yonsei en Seúl defiende que,

debe haber sanciones mucho más duras para quienes violen esa ley.

Primeras encuestas revelan que el 70% de la población de Corea del Sur apoya la creación de una nueva legislación. Su votación en la asamblea legislativa está prevista para los primeros días de diciembre. El pasado 24 de noviembre, otra estrella del K-Pop, Goo Hara, apareció muerta en su domicilio. la investigación policial indica que se trata de un nuevo caso de suicidio con ciberacoso previo.

Partida entre DeepBlue y Kasparov

En 1997, Deep Blue, un superordenador de IBM derrotó al campeón mundial de ajedrez Gary Kasparov por cuatro juegos a dos en una serie de seis juegos. La victoria de Deep Blue cambió el ajedrez, pero no en la forma en que la gente esperaba y se predijo.

La metodología soviética bajo la que se había formado Kasparov era realmente maquinal, tenía la misma lógica que luego utilizó Deep Blue.

El ajedrez revolucionario napoleónico había exaltado al peón y el romántico la belleza de la sucesión de movimientos, la era de Capablanca había sido pragmática como el positivismo filosófico de la época y el ultraísmo había llevado al ajedrez el atrevimiento geométrico bolchevique, descubriendo líneas de fuerza y proyecciones insospechadas en la lucha por el poder. El ajedrez stalinista fue otra cosa completamente distinta. No pretendía cambiar la lógica del juego, ni siquiera ser coherente, ni bello. Solo pretendía ganar. Para ello inauguró una extraña forma de aprender, que exaltaba tanto la sistemática como se complacía en la falta de imaginación.

Durante la guerra fría, la asociación soviética de ajedrez era un verdadero bunker. Su arma secreta: el registro en fichas de cartón de miles y miles de partidas que los elegidos para la alta competición podían estudiar y utilizar.

Se entrenaba a los jugadores para memorizar gigantescos árboles de decisión y a partir de ahí, aprender a reconocer heurísticamente por dónde continuar la partida con más probabilidades de victoria, por contraintuitivo que fuese y aunque el tiempo y la capacidad no les dieran para calcular la sucesión de jugadas.

Calcular los árboles de decisión más completos posibles a base de fuerza bruta, es decir, de pura capacidad de cálculo y recursos, fue el estirón de la IA de la época de Deepblue. Añadirle a eso heurística (mediante Montecarlo) fue el camino de la siguiente generación, la primera que intentó asaltar el Go/Baduk/Weiqi… sin éxito.

Pero no adelantemos. Lo interesante de 1997 es que DeepBlue y Kasparov tenían ya una misma lógica de juego y aprendizaje. Es más en 1997 se vendían ya CDs con todas las partidas del archivo secreto del bunker ruso. Fue ese CD el que había cambiado el juego. No una IA que todavía tardaría unos años en resultar accesible.

De hecho la democratización de las IAs de ajedrez, que fue el verdadero cambio, solo radicalizó la mirada stalinista sobre el juego. Emocionalidad fuera. Defensas blindadas. Pragmatismo para ocupar el centro del tablero. Paciencia inmisericorde hasta encontrar el error en el contrario. Si el ajedrez ruso de la guerra fría fabricaba blindados, el ajedrez influido por IA los hacía mejores. Nadie parece echar de menos a la caballería ligera.

Hoy los chicos memorizan y reviven jugadas, y sus maestros repasan sus partidas con software basado en IA. Nuevas jugadas y soluciones creadas por máquinas, em>inhumanas pero efectivas, son la señal de buen entrenamiento. No es que ya no haya revistas y libros. De hecho ahora son, posiblemente, mejores que nunca. Pero ya no son la base de la formación ajedrecística. Son entretenimiento, reflexión. Literatura comunitaria.

Un detalle importante. Los libros y las fichas de papel han desaparecido. Los entrenadores no. ¿Por qué? Porque el software te puede decir cuándo te equivocaste, qué camino tendrías que haber seguido a partir de una jugada determinada. Pero eso no te ayuda a pensar mejor en términos estratégicos, a crear esas reglas difusas que llamamos estilo de juego. El entrenador sí. El entrenador es ése que sabe los porqués, que te da reglas de pensamiento, filosofía de juego, el que te enseña que hay algo que demostrar que solo puede demostrarse ganando. El que te ayuda a darle trascendencia al juego. Algunos de los grandes maestros de Go -y no pocos escritores que quedaron capturados por el juego, de Leibniz a Thomas Mann pasando por Kabawata- le llamaban encontrar la verdad o descubrir el lenguaje de las piedras. La IA no sabe de eso. La IA solo sabe ganar.

Tal vez por eso el ajedrez ha generado una variante mixta: humanos y máquinas juegan formando equipo. Fue el propio Kasparov quién más hizo por tornarlo popular. El «ajedrez centauro» en un deporte extremo que mide los nervios de los contrincantes: ¿cuándo he de dejar de seguir lo que la máquina sugiere? ¿cuándo tengo algo realmente diferente delante de mi que la máquina no sabe ver? ¿qué me está diciendo el humano al otro lado con esa jugada? ¿o es su máquina que está llevándole a un lugar que no se ver? Conforme la IA es mejor, mejores tienen que ser sus jinetes… aunque solo sea para dejarles hacer.

Tim Berners-Lee

Hace unos años, señalaba la neutralidad de la red o la privacidad como los principales retos a los que se enfrentaba Internet. Si tomabas a alguien al azar de la calle, te decía que la Web era genial. Ahora, te dirá que no es digno de confianza, que es un lugar donde te sientes manipulado, donde has perdido el control… Por eso imaginamos el «contrato para la Web», que requiere muchos cambios, especialmente para las empresas de nuevas tecnologías. También pide a la gente, a los gobiernos, que discutan lo que necesitamos para hacer de la Web un lugar mejor y más abierto.

…Creo que la gente debería tener control sobre sus datos, acceder a ellos, hacer cosas interesantes con ellos. El hecho de que los datos personales se almacenen y queden atrapados en silos ha hecho que la gente pierda poder: si quiero trasladar mis datos de LinkedIn a Facebook, es demasiado complicado. La gente ha perdido poder, incluyendo el poder de compartir con quien quieran. Devolver el poder al individuo significa permitirle utilizar un software que integre sus datos en la vida cotidiana, utilizar la inteligencia artificial y cosechar los beneficios. La gente no se da cuenta del poder que sus datos podrían darles.

Para Tim Berners-Lee, inventor de la World Wide Web, Internet ha llegado a un punto de no retorno. Su propuesta para recuperar Internet se basa en devolver al usuario el control de sus datos. Desde 2016 trabaja con el MIT en un proyecto de código abierto llamado «Solid». El objetivo: crear un nuevo sistema de gestión de datos personales para «capacitar» a los usuarios de Internet sobre sus datos. Esta plataforma, aún en sus primeras etapas, permitiría separar los datos generados al utilizar servicios y aplicaciones. Así, cada usuario de Internet podría poseer sus datos, almacenándolos en una especie de caja fuerte digital (cápsulas en el servicio en nube que elija). También podría decidir qué tipo de datos quiere compartir y con quién.

El informático británico, crítico habitual del poder de los GAFA (Google, Apple, Facebook, Amazon), no duda en pedir de forma abierta la descentralización de Internet en cada conferencia o entrevista que concede. Sin embargo, para que «Solid» pueda funcionar necesita de su colaboración ya que los prestadores de los servicios deberían desarrollar sistemas de compatibilidad entre sus plataformas y «Solid». Aunque parezca tarea difícil no es imposible, más cuando ya han dado un gran paso. Meses atrás, Google, Facebook, Microsoft y Twitter anunciaron la portabilidad de datos entre sus diferentes servicios. Según Berners-Lee, esta iniciativa demuestra que

las empresas «admiten explícitamente que, desde un punto de vista ético y filosófico, los usuarios tienen derecho a sus datos».

En el mundo de Solid, por ejemplo, se nos asignará al entrar un identificador personal y un personal online data store (POD), un lugar de almacenamiento de datos individual, sobre el que tenemos control absoluto. A partir de ahí, nada de contraseñas, aplicaciones que no se comunican unas con otras o archivos privados almacenados quien sabe donde.

Contrato para la Web - projecto de Tim Berners-Lee

Un nuevo contrato para Internet

En el Web Summit de 2018 celebrado en Lisboa, Tim Berners-Lee presentó un nuevo contrato para Internet cuyo objetivo es proteger a Internet de la manipulación y hacerla «segura y accesible» para todos. Esta campaña, llamada #ForTheWeb, busca sensibilizar a usuarios, empresas y gobiernos. Propone una serie de compromisos básicos a partir de los cuales se elaborará mediante un proceso participativo un «Contrato para la Web» completo, que establecerá las funciones y las responsabilidades de los gobiernos, las empresas y los ciudadanos.

Los gobiernos se comprometen a:

  • Asegurarse de que todos y todas puedan conectarse a Internet: De manera que cualquier persona, sin importar quién sea o dónde viva, pueda participar activamente en línea.
  • Mantener todo Internet disponible, todo el tiempo: De manera que a nadie se le niegue su derecho de acceso completo a Internet.
  • Respetar el derecho fundamental de las personas a la privacidad: De manera que todos y todas puedan usar Internet libremente, de forma segura y sin miedo.

Las empresas se comprometen a:

  • Hacer que Internet sea accesible y asequible para todos y todas: De manera que nadie quede excluido del uso y el desarrollo de la web.
  • Respetar la privacidad y los datos personales de los consumidores: Para que las personas tengan el control sobre sus vidas en línea.
  • Desarrollar tecnologías que apoyen lo mejor de la humanidad y desafíen lo peor: De manera que la web sea realmente un bien público en donde prevalece el interés de las personas.

Los ciudadanos se comprometen a:

  • Ser creadores y colaboradores en la web: De manera que la web tenga contenido rico y relevante para todos y todas.
  • Construir comunidades fuertes que respeten el discurso civil y la dignidad humana. Para que todos y todas se sientan seguros y bienvenidos en línea.
  • Luchar por la web. Para que la web permanezca abierta y sea un recurso público global para las personas de todas partes, ahora y en el futuro.

Hasta el momento, los gobiernos de Francia, Alemania y miles de empresas y organizaciones han suscrito los compromisos de partida.

  • Miembros del núcleo «duro»: Google, Microsoft, Gobierno de Francia, Gobierno de Alemania, AnchorFree, Change.org, CIPESA, The NewNow, y WWW Foundation.
  • Miembros del Grupo de Trabajo: Aproximadamente 100 representantes de empresas, instituciones públicas y organizaciones de la sociedad civil.
  • Firmantes: Más de 8.000, y sumando

Derechos de Ciudadanía Digital