Blog

Digitalización de la empresa

La digitalización de las organizaciones y las empresas ha pasado de objetivo estratégico a urgencia inmediata en toda Europa. La recuperación económica del continente tendrá en ella uno de sus dos pilares fundamentales. Digitalización significa hoy un futuro apremiante y una esperanza.

El peligro es que cuando una palabra pasa ser el vehículo de todas las aspiraciones sociales, inevitablemente se vacía en cierto grado de contenido. El problema es que la reflexión previa sobre su significado real, material, era tan escueta, que podría convertirse en fetiche. Por eso es más importante que nunca escuchar a los críticos.

El siguiente documento recoge citas de dos artículos de opinión, firmados por David Justino y Eduardo Manchón publicados en medios de comunicación de Portugal y España durante la última semana.

Ideas centrales

  • Lo que nos puede salvar es la producción de conocimiento innovador, incorporado o no a la tecnología, que puede movilizarse para agregar valor a los bienes que producimos. Digitalizar sin un cambio previo de procesos es reproducir los (malos) servicios existentes. Automatizar sistemas industriales obsoletos es darles un nuevo aspecto, sin cambiar su naturaleza real. David Justino
  • La digitalización es un aprendizaje y los aprendizajes no se pueden delegar. Al igual que la alfabetización tiene consecuencias mayores que el mero hecho de saber juntar letras, la digitalización es mucho más que crear una web o una ‘app’, es un aprendizaje que implica cambios profundos en las personas y en el funcionamiento de las organizaciones. Subcontratar la digitalización significa pagar para que ese capital intelectual, literalmente, se pierda en un tercero cuyo negocio no es acumular conocimiento, sino vendernos el máximo número de horas. Contratar a un zorro para que nos vigile las gallinas. Eduardo Manchón.

David Justino: «El fetichismo de la tecnología»

David Justino(1953) Político y sociólogo portugués del partido social demócrata (PSD) del que actualmente es vicepresidente. Fue Ministro de Educación (2002-2004) con el gobierno de Durão Barroso y asesor para asuntos sociales del Presidente Cavaco Silva, entre otros cargos. Es Catedrático de Sociología en la Universidade Nova de Lisboa.

David Justino ha iniciado la publicación de una serie de 10 artículos en el diario portugués Público sobre los retos a los que nos enfrentamos actualmente en diversas áreas, en Portugal y en el mundo. En su artículo dice así:

La tensión entre individualismo y masificación se ha formulado, al menos, desde John Stuart Mill y Alexis de Tocqueville y se centra en la libertad y diversidad de una sociedad de individuos y ciudadanos ante lo que se temía como el riesgo de la «tiranía de las masas» o , si queremos, del despotismo de las mayorías. Ambos convergieron en la necesidad de crear instituciones políticas que garantizasen un equilibrio indispensable entre los derechos fundamentales de las personas, su libertad y poder de diferenciación, y el respeto a la voluntad de las mayorías, por irracional y anacrónica que sea.

Las nuevas tecnologías, en concreto las de la información y la comunicación, aumentan esta tensión e introducen nuevos motivos de preocupación por el acceso masivo a la información, la opinión y el poder que tienen los pequeños grupos para inducir ideas, conceptos y comportamientos de la enorme masa humana de usuarios. y consumidores. La visión orwelliana sigue flotando sobre el futuro de nuestras sociedades, aunque en una escala ampliada, más descentralizada pero también más fragmentada.

El fetichismo de la tecnología

Recuerdo un episodio sucedido en 1996 y repetido en 1997. Por primera vez un ordenador ganó una partida de ajedrez al que en ese momento se consideraba el mejor jugador de todos los tiempos, Garry Kasparov. En 1997, el equipo creado por IBM volvió a ganar dos juegos, lo que le permitió ganar el partido de 6 (tres empates y una derrota). Muchos de los lectores recordarán el nombre del campeón de ajedrez. Otros recordarán el nombre de la computadora, ‘Deep Blue’. Pero pregunto: ¿cuántos recuerdan los nombres de los programadores que desarrollaron el software? Cinco ingenieros y un joven maestro de ajedrez: Chung-Jen Tan, Murray Cambell, Feng-hsiung Hsu, Joseph Hoane Jr., Jerry Brody y Joel Benjamin.

Lo que quedó para la historia fueron Kasparov y Deep Blue, el hombre derrotado por la máquina. Todo el conocimiento que se tuvo que movilizar desde el registro de 700 mil partidas que involucraron a los grandes maestros del ajedrez, así como el complejo proceso de programación, quedó en segundo plano.

Nuestra relación con la tecnología desde entonces no ha cambiado significativamente. La fascinación por la tecnología nos hace olvidar el valor del conocimiento y la acción humana que la conciben y desarrollan. A la tecnología se le atribuyen poderes mágicos, a veces sobrehumanos, cuando no hay nada mágico en ella y la capacidad humana para producir estas tecnologías está lejos de su límite.

El concepto de fetichismo fue pionero en Marx, cuando, respecto al concepto de alienación, habló del «fetichismo de la mercancía». David Harvey, un geógrafo inglés de orientación marxista, transpone la idea de hablar del fetichismo de la tecnología, entendiéndola como la propensión humana a «dotar a los objetos o entidades, reales o imaginarios, de poderes autónomos, misteriosos e incluso mágicos para moverse y dar forma el mundo de diferentes maneras» (El fetiche de la tecnología: causas y consecuencias ).

La acción y el discurso políticos, particularmente entre nosotros, reflejan este fetichismo de la tecnología. La gran moda de la digitalización abarca todos los ámbitos de la vida social, está presente en el vocabulario del discurso «innovador» y «vanguardista», como si fuera la solución mágica para solucionar los problemas del país. ¡Puro engaño! En el mejor de los casos, seremos mejores consumidores de la tecnología que otros diseñan, producen y comercializan, meros agentes pasivos de un proceso cuyo valor agregado es bajo.

Lo que nos puede salvar es la producción de conocimiento innovador, incorporado o no a la tecnología, que puede movilizarse para agregar valor a los bienes que producimos. Digitalizar sin un cambio previo de procesos es reproducir los (malos) servicios existentes. Automatizar sistemas industriales obsoletos es darles un nuevo aspecto, sin cambiar su naturaleza real.

Eduardo Manchón: «Las consultoras están matando la industria»

Eduardo Manchón(1977) Fundador de Panoramio y Mailcheck, es el primer español que vendió su empresa a Google. Publica columnas de opinión en el diaro El Confidencial. Hacemos referencia a uno de sus artículos en el que plantea y analiza el error que muchas empresas españolas han cometido al dejar su digitalización en manos de consultoras.

Las pifias de la web de Renfe son el hazmerreír nacional, todos hemos sufrido en carne propia sus fallos. Lo sorprendente, sin embargo, no es que alguien cometa errores, lo verdaderamente chocante es que después de muchos años esos errores continúen allí. Solo quien conozca cómo funciona la consultoría de software será capaz de entender esta situación delirante.

La web de Renfe es solo la punta del iceberg. Buscadores que no encuentran, webs lentas, procesos incomprensibles… No hace falta ser un experto, cualquier usuario sabe que la calidad de la mayoría de las ‘apps’ y webs ‘made in Spain’ deja mucho que desear. Y sí, casi todo ese ‘software’ ha sido creado por consultoras.

La digitalización por fin ha llegado a España, toda empresa o Administración que se precie tiene una web y una ‘app’ pero, como los señores feudales que renunciaban a aprender a leer y a escribir delegando esa tarea en sus escribanos, las empresas españolas han cometido el error de delegar su digitalización y dejarla en manos de consultoras.

El problema es que la digitalización es un aprendizaje y los aprendizajes no se pueden delegar. Al igual que la alfabetización tiene consecuencias mayores que el mero hecho de saber juntar letras, la digitalización es mucho más que crear una web o una ‘app’, es un aprendizaje que implica cambios profundos en las personas y en el funcionamiento de las organizaciones.

No aprender significa quedar a expensas de decisiones interesadas de terceros. Solo a un negocio interesado en facturar horas le conviene que los bancos sigan usando una tecnología obsoleta como Cobol. Gracias a decisiones como esa, los bancos han acumulado cantidades ingentes de lo que en el sector se llama ‘deuda técnica’, y eso convierte en un infierno cualquier intento de implementar mejoras. Una organización suficientemente competente hubiera tomado la muy difícil decisión de reescribir el código desde cero hace años, pero a las consultoras les va mejor seguir remendando viejos sistemas. Las consecuencias las sufren el banco y especialmente sus clientes en forma de fallos, lentitud y deficiencias en sus maltrechas ‘apps’. Como Unamuno, los bancos han dicho «que digitalicen ellos».

La digitalización produce una acumulación de un valioso capital intelectual en la organización, un ‘asset’ digno de aparecer entre sus activos. Subcontratar la digitalización significa pagar para que ese capital intelectual, literalmente, se pierda en un tercero cuyo negocio no es acumular conocimiento, sino vendernos el máximo número de horas. Contratar a un zorro para que nos vigile las gallinas.

En consultoría, se trata de evitar ese conflicto de interés cerrando precios, fechas de entrega y definiendo exactamente el producto a entregar, pero ese corsé no funciona y se entregan productos deficientes o inacabados para acabar terminando el producto facturando infinitas horas adicionales de ‘mantenimiento’. El grillete perfecto: el zorro se nos está merendando las gallinas y ni siquiera podemos cambiar de zorro.

Crear ‘software’ es un proceso con características muy particulares, tan particulares que en la industria se ha llegado al consenso de que es imposible ejecutar con éxito un producto planificado de antemano. Todos se han rendido a la realidad de un proceso artesanal de mejora paso a paso que nunca acaba. Las nuevas metodologías, en lugar de intentar poner orden, son capaces de tolerar el caos y la incertidumbre que supone no poder predecir el siguiente paso. En consecuencia, nadie, excepto las consultoras, trabaja ya ni con fechas de entrega ni con las especificaciones detalladas de antaño. Un proceso poco predecible y caótico que requiere horas infinitas no es algo que quieras hacer con una consultora externa.

En román paladino, por muy bien que creas que hayas planificado, a las primeras de cambio surgirán imprevistos y toda la planificación saltará por los aires. Por eso, trabajando con una consultora siempre llega el día en que no le sale a cuenta echar más horas (o las echa con cuentagotas arrastrando los pies). Ese día raramente coincide con el momento en que un producto está listo para ser usado.

Ajenas a las modernas prácticas, las consultoras son auténticas fábricas de facturar horas y se vanaglorian de abrir ‘software factories’ intensivas en mano de obra en las localizaciones con salarios más bajos. En las antípodas de este modelo están las modernas empresas de ‘software’, organizaciones posindustriales donde la calidad del resultado se basa en el conocimiento tácito acumulado en los cerebros de sus trabajadores, el auténtico medio de producción, lo que los hace difícilmente sustituibles e inevitablemente conlleva excelentes condiciones laborales.

¿Hay solución? Sí, y aunque es difícil, tenemos referentes que han dado un golpe de timón. Juan Roig, en la presentación de resultados en 2017, dijo literalmente «la web de Mercadona es una mierda» y apostó por crear una división interna de la empresa llamada Mercadona Tech para empezar desde cero y hacer viable el negocio ‘online’. Contrató a un equipo de grandes profesionales con el objetivo de repensar absolutamente todo, un proceso artesanal que no acabará nunca y que inevitablemente debe hacerse en casa. Eso es digitalización de verdad y, por cierto, la única manera de que Amazon no te deje algún día en los huesos.

California Consumer Privacy Act 2018

La Ley de Privacidad del Consumidor de California (CCPA por sus siglas en inglés) es una ley estatal destinada a mejorar los derechos de privacidad y la protección del consumidor para los residentes en California, Estados Unidos.

Su impulsor, Alastair Mactaggart, es un magnate inmobiliario, Fundador de la asociación «Californians for Consumer Privacy» y Presidente de su Junta; La asociación ha sido la entidad impulsora del referéndum de la Ley de Privacidad del Consumidor de California (CCPA).

Mactaggart y la Ley de Privacidad del Consumidor de California (CCPA)

Presentada a referendum en 2016, obtuvo el respaldo de 690 mil ciudadanos, siendo el mínimo para iniciar un procedimiento legislativo de 500 mil. La Ley de Privacidad fue aprobada en 2018 por la Legislatura del Estado de California y por el gobernador de California, Jerry Brown. El CCPA otorga a casi 40 millones de personas en California los derechos de privacidad de datos más sólidos del país y ha entrado en vigor en enero de 2020.

Los californianos ahora tienen derecho a saber qué datos se recopilan sobre ellos, a prohibir la venta de sus datos a terceros, a demandar a las empresas que recopilan sus datos y sufren una violación de seguridad, y a eliminar los datos recopilados sobre ellos. El CCPA también prohibirá la discriminación contra los consumidores que opten por no participar en la recopilación de datos.

  • Saber si una empresa recolecta tus datos.
  • Conocer qué datos han sido recopilados sobre ti en los últimos 12 meses.
  • Expresar tu rechazo a la recolección de datos.
  • Prohibir que los datos recopilados sean cedidos o vendidos a terceros.

Para ello, toda página web o aplicación debe contar con un «botón» que de forma clara permita al usuario ejercer estos derechos.

Se trata de un éxito sin precedentes, que abre la puerta a una legislación a nivel federal sobre los derechos de privacidad en Internet, pero también ha provocado la respuesta inmediata de la industria tecnológica de Silicon Valley. A través de diferentes cauces ya ha presentado una serie de enmiendas a la CCPA de cara a diluir su efecto real en el tratamiento y gestión de datos de los usuarios.

Google además advierte del daño a las pequeñas empresas y emprendedores que acarreará la implementación de la CCPA, alega que se trata de matizar el lenguaje de la ley para permitir la subsistencia de los actuales modelos de negocio basados en los datos de sus usuarios. Por ejemplo, el texto de la ley limita y lista actividades específicas en las que se permite la cesión de los dados tratados, entre ellos «auditoría y seguridad» y propone que sea sustituido por «negocios cuyos propósitos incluyan» abriendo la puerta a mantener el actual status quo.

Por ello, Mactaggart ha anunciado que se encuentra trabajando en la elaboración de un nuevo texto base para conseguir ampliar las garantías de la CCPA. La CCPA, señala, se centra en la venta de datos personales, pero no aborda directamente el uso de esos datos por la fuente que los recogió originalmente. Su nueva propuesta busca proteger la «información personal confidencial». Los datos que estarían cubiertos por esa definición incluyen información de geolocalización, números de Seguro Social, números de pasaporte y datos sobre raza, religión, afiliación sindical, y orientación sexual, entre otras categorías». Propone además la creación de una nueva agencia de protección de datos independiente, inspirada en el organismo regulador de la Unión Europea.

Derechos recogidos en la CCPA

La Ley de Privacidad del Consumidor de California (CCPA), promulgada en 2018, crea nuevos derechos de los consumidores relacionados con el acceso, la eliminación, y la cesión de información personal, que se recaba por las empresas.

Es decir, la CCPA recoge el derecho de los consumidores a saber qué información recopilan las empresas sobre ellos, para qué propósito y con quién la comparten. Los usuarios podrán solicitar a las empresas la eliminación de sus datos personales, y manifestar su deseo de no permitir su venta o divulgación a terceros.

Por su parte, las empresas deberán mostrar en un lugar visible de su página web o aplicación un enlace con el texto «Do Not Sell My Personal Information», para que los consumidores puedan ejercer estos derechos.

La CCPA se aplica sobre las empresas que, con independencia de su domicilio social, traten con datos de residentes en el estado de California y cumplan los siguientes requisitos:

  • Contar con un beneficio anual bruto superior a 25 millones de dólares;
  • Tratar con información de un mínimo de 50.000 usuarios, dispositivos u hogares, o;
  • Obtener como mínimo el 50 por ciento de sus ganancias de la venta de información personal.

Toda actividad comercial que se incluya en las condiciones establecidas por la CCPA deberá cumplir con una serie de obligaciones para aumentar la transparencia en el tratamiento que hacen de los datos, entre los que se encuentran:

  • Informar a los consumidores si tienen intención de vender sus datos. Además, tienen prohibida la venta de datos de menores de 16 años a menos que se autorice.
  • Incluir una política de privacidad en la web donde se especifique la información recogida y el propósito.
  • Proporcionar mecanismos para que los consumidores puedan solicitar información acerca de sus datos y responder a las solicitudes sin coste.
  • No discriminar a aquellos consumidores que deciden eliminar sus datos, impedir su venta o ejercer algún otro derecho. No obstante, las empresas sí pueden ofrecer incentivos financieros a los consumidores por el tratamiento de sus datos.

Información personal

La información personal bajo la CCPA incluye:

  1. Identificadores directos (tales como el nombre real, alias, dirección postal, números de la seguridad social);
  2. Identificadores únicos (cookies, dirección de IP y nombres de usuario);
  3. Datos biométricos (como el rostro y las grabaciones de voz);
  4. Datos de geolocalización (tales como el historial de localización);
  5. Actividad internauta (historial de navegación, búsquedas realizadas, interacción de datos con una web o una aplicación);
  6. Información sensible (datos sobre salud, características personales, comportamiento, religión, convicciones políticas, preferencias sexuales, empleo o datos educativos, historial médico o información financiera).

La información personal también incluye datos que por deducción pueda desembocar en la identificación de un individuo o una unidad familiar, además de datos que pueda ser de cualquier modo re-identificable. Esto significa que datos que por sí mismos no son información personal pueden serlo bajo la CCPA si pueden ser usados -por deducción o combinación con otros datos- para identificar un individuo o una unidad familiar.

Incumplimiento y sanciones

El incumplimiento de la CCPA puede desembocar en multas para las empresas de 7.500$ por infracción y 750$ por usuario afectado en concepto de daños y perjuicios civiles.

El poder para hacer cumplir la CCPA recae en la oficina del Fiscal general de California, quien, hasta julio de 2020 tiene que especificar la regulación de dicha aplicación. Sin embargo, el periodo provisional entre enero y julio de 2020 no se convierte en un periodo de gracia y las empresas están sujetas a demandas civiles por la recogida y venta de datos desde el 1 de enero de 2020.

Enmiendas a la CCPA

El Procurador General de California ha preparado el siguiente título y resumen del propósito y los puntos de la medida propuesta: Modifica las leyes de privacidad del consumidor. Estatuto de la iniciativa. Permite a los consumidores:

  1. Evitar que las empresas compartan información personal;
  2. Corregir la información personal inexacta;
  3. Limitar el uso de «información personal sensible» por parte de las empresas, como por ejemplo geolocalización; raza; etnia; religión; datos genéticos; afiliación sindical; comunicaciones privadas; y cierta orientación sexual, salud e información biométrica.

Además,

  • Cambia los criterios para los cuales los negocios deben cumplir con estas leyes.
  • Prohíbe la retención de información personal por parte de las empresas durante más tiempo del razonablemente necesario.
  • Triplica las penas máximas para las violaciones relativas a consumidores menores de 16 años.
  • Establece la Agencia de Protección de la Privacidad de California para hacer cumplir y implementar las leyes de privacidad del consumidor, e imponer multas administrativas.
  • Requiere la adopción de reglamentos sustantivos.

En cuanto a la estimación del impacto fiscal en los gobiernos estatales y locales, la fiscalía apunta a:

  • Aumento de los costos estatales anuales de aproximadamente $10 millones de dólares para una nueva agencia estatal que supervise el cumplimiento y la aplicación de la privacidad del consumidor leyes.
  • El aumento de los costos estatales, que potencialmente alcanzarían los millones de dólares anuales, por el aumento de la carga de trabajo administrativo y de los tribunales estatales, que se compensaría en parte o en su totalidad con ingresos por multas.
  • Imposibilidad de establecer el impacto en los ingresos tributarios estatales y locales causados por los efectos económicos resultantes de los nuevos requisitos de las empresas para proteger la información de los consumidores.

Palacio sede del Consejo de Estado - Italia

Recientemente el Consejo de Estado (Consiglio di Stato), el principal órgano judicial-administrativo y consultivo italiano, emitió una interesante decisión relativa a la posibilidad y la legalidad de que la administración pública se base en procedimientos y decisiones basados en algoritmos.

En el caso en cuestión, la controversia se refería al resultado de un procedimiento de contratación extraordinaria de maestros de escuela, llevado a cabo por el Ministerio de Educación italiano: en el contexto de ese procedimiento, se asignaron geográficamente diferentes lugares de trabajo a los maestros contratados.

Este procedimiento -basado únicamente en un algoritmo que, en opinión de los profesores, no funcionaba correctamente- organizaba los traslados sin tener debidamente en cuenta las preferencias expresadas por los profesores, incluso en presencia de plazas disponibles en las zonas geográficas preferidas. En esencia, el mecanismo de movilidad extraordinaria resultó perjudicial para los profesores que fueron trasladados a provincias alejadas de la de su residencia o de la elegida con prioridad en el momento de su solicitud de empleo.

Aunque consideró ilegítimo el algoritmo utilizado en el caso concreto, el Consejo no excluyó en absoluto la posibilidad de que la administración pública adoptara algoritmos: más bien señaló que la administración pública podrá explotar el importante potencial de la llamada «revolución digital», utilizando también algoritmos, pero sólo en determinadas condiciones. Según el Consejo, la utilización de algoritmos informáticos para la adopción de decisiones que afectan a la esfera pública y privada debe evaluarse siempre en términos de eficacia y neutralidad: esto significa que la utilidad de los algoritmos para la gestión del interés público puede ser particularmente útil en lo que respecta a procedimientos, como el que nos ocupa, que son seriados o normalizados, que implican la tramitación de grandes cantidades de solicitudes, y que se caracterizan por el acopio de determinados elementos objetivamente demostrables y por la ausencia de toda apreciación discrecional.

En opinión del Consejo de Estado italiano, la plena admisibilidad de esos instrumentos podría responder a los criterios de eficiencia y eficacia en función de los costos de la acción administrativa, que, de conformidad con el principio constitucional de buena ejecución de la acción administrativa (artículo 97 de la Constitución italiana), exigen que la administración alcance sus objetivos con el menor gasto de recursos y mediante la racionalización y aceleración del procedimiento público.

El uso del algoritmo debe estar correctamente enmarcado en términos de medidas organizativas, medios procesales y de investigación, sujeto a los requisitos, comprobaciones y controles típicos de cualquier procedimiento administrativo, asegurando que la elección autorizada se lleve a cabo sobre la base de la ley que atribuye el poder y los propósitos a la autoridad pública. El Consejo destacó tres principios interesantes, relativos a los algoritmos potencialmente adoptados por la administración pública.

  • En primer lugar, el «principio de conocimiento», en virtud del cual toda persona tiene derecho a conocer la existencia de los procesos automatizados de adopción de decisiones que le conciernen y a recibir información significativa sobre su lógica. Esta norma constituye una aplicación específica directa del arte. 41 de la Carta de Derechos Fundamentales de la Unión Europea, en el que se establece que cuando la Administración Pública se proponga adoptar una decisión que pueda tener efectos adversos para una persona, tiene la obligación de «motivar su decisión» y la persona interesada tiene derecho a ser oída y a tener acceso a sus archivos y documentos. El Consejo subrayó que el derecho a saber debe ir acompañado de mecanismos capaces de descifrar la lógica del algoritmo. En esta perspectiva, el principio de la conocibilidad se completa con el principio de la comprensibilidad, es decir, la posibilidad de recibir información significativa sobre la lógica en cuestión, así como sobre el significado y las consecuencias previstas de ese tratamiento para el interesado. Sin embargo, al leer la decisión, parece que el Consejo de Estado no consideró esencial y obligatoria la divulgación completa y exhaustiva del código algorítmico.
  • En segundo lugar, el Consejo identificó el «principio de no exclusividad» de la decisión algorítmica, que se deriva del Artículo 22 Reg. UE 2016/679 (GDPR). Una persona tendrá derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos que le conciernan o que le afecten de forma similar y significativa, teniendo derecho a obtener, al menos, una intervención humana por parte del responsable del tratamiento (la administración pública, el Ministerio de Educación en el caso concreto), a expresar su punto de vista y a impugnar la decisión.

ALICEM

Según el Ministerio del Interior, ALICEM es la primera solución segura de identidad digital soberana. Esta aplicación ha sido desarrollada por el Ministerio del Interior y la Agencia Nacional de Títulos Garantizados (ANTS). ALICEM es una aplicación para móviles diseñada para permitir a las personas autenticar su identidad en servicios online públicos y privadas y las transacciones digitales que realicen.

El usuario debe disponer de un teléfono inteligente y de pasaporte o tarjeta de residencia con chip. La aplicación reemplaza así la tarjeta de identidad que utilizan los ciudadanos en la vida cotidiana y permite el uso de servicios online ya sean públicos o privados. No se trata sin embargo de una aplicación de uso obligatorio, todo el mundo es libre de utilizar o no la aplicación.

¿Cómo funciona?

Una vez instalada ALICEM en el móvil, el usuario registra su pasaporte o tarjeta de residencia.

  1. La aplicación realiza la lectura del chip del documento oficial de identidad mediante el protocolo NFC (tecnología inalámbrica de corto alcance), es decir, sin contacto.
  2. A continuación se procede a efectuar el reconocimiento facial del individuo comparando la foto del documento con identidad con su rostro para autenticar que el usuario es titular del documento de identidad oficial que porta.

¿Qué supone?

La aplicación forma parte del reglamento europeo «elDAS» aprobado el 23 de julio de 2014 y relativo a la identificación electrónica y los servicios de confianza para las transacciones electrónicas en el mercado interior. Un reglamento con el objetivo de garantizar las interacciones electrónicas en la Unión Europea (UE) entre empresas, ciudadanos y autoridades públicas. «elDAS» define 3 niveles de garantía: baja, sustancial y alta; ALICEM apunta a los dos niveles superiores y antecede a identidad electrónica que se prevé entre en funcionamiento en Francia en agosto de 2021.

La aplicación ALICEM fue validada mediante un decreto aprobado en mayo de 2019 que autoriza la creación de un medio de identificación electrónica denominado «Autenticación online certificada en el móvil» . El artículo 3-2 del reglamento eIDAS define, por un lado, la «identificación personal para medios electrónicos» que contiene datos de identificación personal y que se utilizan para autenticarse para un servicio en línea y, por otro lado, «identificación electrónica» que consiste en utilizar datos de identificación personal en formato electrónico que representen de manera inequívoca a una persona física o jurídica, o una persona física que represente a una persona jurídica (art. 3-1).

Por su parte, la «autenticación» es un proceso electrónico que permite confirmar la identificación electrónica de una persona física o jurídica, o el origen e integridad de los datos en formato electrónico. La protección de datos está garantizada de acuerdo con la ley modificada de 1978 y el RGPD, por ejemplo: no hay almacenamiento de datos extraídos del documento de identidad y los datos no se procesan.

La biometría, en este caso el reconocimiento facial con fines de autenticación segura, impone obligaciones especiales cuando da lugar al procesamiento de datos (como la evaluación del impacto en la privacidad). Este aspecto está contemplado por ALICEM. Sin embargo, la aplicación ha suscitado inquietudes con respecto a las posibilidades que ofrece a los Estados o empresas en términos de trazabilidad de personas.

La asociación La Quadrature du Net solicitó al Consejo de Estado la anulación del decreto por extralimitación de poder y, subsidiariamente, plantear cuestiones preliminares al Tribunal de Justicia de las Comunidades Europeas.

El Consejo de Estado rechazó el recurso de la asociación que se oponía a la fase de reconocimiento facial al abrir la cuenta del usuario, alegando que la solución debía ofrecer una alternativa a este proceso de verificación de identidad biométrica. Su respuesta advierte en primer lugar que el usuario móvil no tiene la obligación de registrarse en el servicio ya que, como subraya el Consejo de Estado, siempre tiene la posibilidad de utilizar otros dispositivos de identificación online de France Connect. Conecte «cuyo uso no presupone el consentimiento para el procesamiento del reconocimiento facial».

Además, el Consejo de Estado recuerda que la ley modificada de 1978 (art. 8) y el RGPD (art. 9) prohíben el tratamiento de datos biométricos, a menos que el interesado haya dado su consentimiento explícito y que, en el procesamiento por razones de interés público importante, dicho procesamiento es proporcionado. Sin embargo, el consentimiento debe haberse otorgado libremente.

¿Podríamos prescindir del reconocimiento facial? ¿Había otras formas de acceder al servicio ALICEM?

Según el Consejo de Estado:

No se desprende de los documentos del expediente que, para la creación de identificadores electrónicos, a la fecha del decreto impugnado existieran otros medios para autenticar la identidad del usuario de forma totalmente desmaterializada presentando el mismo nivel de garantía que el sistema de reconocimiento facial.

Así, el uso de biometría autorizado por el decreto «debe ser considerado como requerido por el propósito de este procesamiento». Es evidente que la asociación no había proporcionado pruebas de que existieran tales medios.

Y además:

De los documentos del expediente se desprende que los servicios accesibles a través de la aplicación Alicem también eran accesibles, en la fecha del decreto impugnado, a través de FranceConnect, cuyo uso no presupone el consentimiento para el tratamiento de reconocimiento facial.

Por tanto, de ello se desprende que el consentimiento de los usuarios de ALICEM se otorga libremente. Por último, se deja de lado la cuestión de la recogida de datos adecuados, relevantes y no excesivos en relación con el objeto y finalidades del tratamiento.

Esta decisión del Consejo de Estado es una buena noticia para la seguridad y la confianza digital; aunque solo sea para luchar contra el fraude y el robo de identidad.

Hubertus Heil - Ministro Federal de Trabajo de Alemania

El antecedente alemán

El Ministro de Trabajo Hubertus Heil (SPD) quiere reconocer el derecho a trabajar desde casa después de la crisis del coronavirus. Los sindicatos y las empresas le apoyan, pero la respuesta obedece a una demanda más general.

El porcentaje de trabajadores que realizan su trabajo desde casa ha aumentado en Alemania del 12 al 25% del total de asalariados durante la pandemia. Heil declaró al periódico «Bild am Sonntag»

Estamos trabajando en una nueva ley para el derecho a «la oficina en casa» [nombre popular del teletrabajo en Alemania], que presentaremos en otoño. Todo aquel cuyo lugar de trabajo lo permita, debería poder trabajar si lo desea en remoto. La idea es que los trabajadores puedan mudar su puesto de trabajo a casa, bien de forma permanente, bien uno o dos días a la semana. Con la pandemia, estamos dándonos cuenta de la cantidad de trabajo que actualmente puede ser realizado en remoto.

Con «reglas justas» Heil quiere evitar que «el trabajo se meta demasiado en la esfera privada». También debe haber una hora de cierre en la oficina en casa – «y esta hora no puede ser las 10 de la noche». El trabajo a domicilio debería ser una opción voluntaria para los empleados. «Queremos hacer posible más tele-trabajo, pero no forzarlo», dijo Heil.

El partido social-demócrata (SPD) que integra la coalición liderada por la canciller Angela Merkel, ya había defendido en diciembre de 2019 –mucho antes de que la pandemia obligara al confinamiento en Alemania y en gran parte del mundo– el establecimiento del derecho a trabajar desde casa.

El vicecanciller y ministro federal de finanzas, Olaf Scholz, también elogió en público las ventajas del tele-trabajo. «Las últimas semanas han demostrado lo mucho que se puede hacer trabajando desde casa»; «Es un verdadero logro, del que no debemos quedarnos atrás», añadió el Ministro de Hacienda al periódico «Bild am Sonntag».

La iniciativa tiene el apoyo de los sindicatos, entre otras organizaciones. El miembro de la junta de Ver.di (Vereinte Dienstleistungsgewerkschaft – en español, Sindicato Unido de Servicios), Christoph Schmitz, declaró que desde el sindicato:

«Exigimos el derecho a una oficina en casa» y añadió que deben seguir cumpliéndose ciertas condiciones, «por un lado, las cuestiones operativas y la voluntad de los clientes han de tener un papel central, y por otro, la salud y la seguridad en el trabajo deben garantizarse de forma integral, lo que abarca desde los equipos de trabajo ergonómicos hasta el registro del tiempo de trabajo».

¿Por qué la medida genera consenso social CDU-SPD, empresariado-sindicatos?

La medida podría afectar a un 20% de la fuerza de trabajo alemana. La experiencia de lo que en Alemania llaman la «oficina en casa» ha sido muy positiva durante el confinamiento… tanto para empresarios como para trabajadores. Y algo muy similar ha ocurrido en Francia.

Las empresas han visto la oportunidad de reducir gastos fijos en oficinas y servicios ligados. En no pocos casos especulan incluso con la posibilidad de vender plantas o edificios, sin perder capacidad de crecimiento. Porque el hecho es que tener un cierto porcentaje de la plantilla en remoto permite tener una fuerza de trabajo más flexible y capaz de crecer según las necesidades de la demanda.

Por otro lado, en países como Alemania hace mucho que las metodologías online de gestión de proyectos y organización de equipos ya estaban muy implantadas dentro de las oficinas más allá de los sectores originales (finanzas, software, etc.). Esto ha convertido el paso al teletrabajo en una ganancia real de productividad que los trabajadores han percibido sin embargo como una ganancia en su capacidad de conciliación laboral-familiar… y un ahorro en tiempos y gastos de transporte.

¿Qué significa regular el teletrabajo como un derecho?

El teletrabajo es un espacio social propio en el que se solapan los derechos laborales y los digitales.

Es muy significativa la experiencia durante la pandemia en Portutal. Este país instauró la modalidad de teletrabajo en todas las actividades susceptibles de ser trasladadas a los domicilios de los empleados. Sin embargo, las medidas de control establecidas por las empresas hicieron necesaria la intervención de la Comisión Nacional de Protección de Datos. La Comisión estableció los límites al empleador, y, entre otros, asentaba la imposibilidad de obligar al trabajador a mantener la cámara permanentemente activa, la prohibición de grabar videoconferencias, así como de someter a control remoto su actividad mediante softwares específicos (TimeDoctor, Hubstaff, Timing, ManicTime, TimeCamp, Toggl o Harvest).

El problema portugués no puede interpretarse como un conflicto por el control de los trabajadores en el tiempo de trabajo, sino como el producto de una desincronización cultural. La pandemia impuso el teletrabajo en entornos empresariales que no habían implantado todavía la revolución digital en lo que toca a los servicios empresariales. A diferencia de Alemania, en buena parte del aparato administrativo de las empresas portuguesas las metodologías de trabajo por metas y objetivos se consideran todavía exclusivas de los servicios avanzados y la digitalización de la gestión de equipos -presenciales o no- no es todavía hegemónica en el paisaje organizacional.

El teletrabajo supone ganancias de productividad cuando se organiza con metodologías modernas de gestión de equipos en torno a tiempos, metas y objetivos. El mercado hace ya mucho que ofrece decenas de soluciones con diversos enfoques de planificación y gestión de proyectos online (BaseCamp, Asana, etc.). Este tipo de organización del trabajo ha demostrado aumentar de manera efectiva la productividad de los servicios avanzados sin necesidad de cronometraje.

La forma de dar el salto de una situación similar a la de Portugal a una como la de Alemania, e incrementar con ello la productividad de los servicios dentro de las empresas, es impulsar mediante regulación la concepción del teletrabajo que es hegemónica en EEUU, Gran Bretaña, Alemania o los países escandinavos.

Brecha Digital - Conectividad a Internet

Un reciente estudio publicado hace unas semanas en EE.UU estima que 42 millones de personas carecen de Internet de banda ancha. Un miembro de la Comisión de Comunicaciones advierte de la importancia de frenar la brecha digital y dar acceso a Internet de banda ancha a toda la población como medida de garantía social.

Una propuesta para el gobierno federal de Geoffrey Starks, miembro de la Comisión Federal de Comunicaciones.

Una medida clara y consistente durante la pandemia del Coronavirus está siendo quedarse en casa. Para muchas personas eso significa llevar el grueso de las actividades diarias -trabajo, colegio de los niños, atención médica, relaciones con los seres queridos- a través de Internet. Sin embargo, esto no es algo posible para todos.

Durante las próximas semanas se pondrá al descubierto, la cruda realidad de la brecha digital: decenas de millones de estadounidenses no pueden acceder a Internet o no pueden permitirse las conexiones de banda ancha en casa que necesitan para teletrabajar, acceder a la información médica o ayudar a los jóvenes a seguir un programa educativo cuando los colegios están cerrados. En un momento en el que la salud pública requiere distanciamiento social e incluso cuarentena, cerrar la brecha digital se convierte en algo central para nuestra propia seguridad, incluida la económica.

Eliminar la brecha digital de forma permanente es un problema a largo plazo que requiere recursos y compromisos sostenidos. El gobierno federal y el sector de la tecnología y las comunicaciones deben trabajar juntos para tomar medidas inmediatas y de emergencia para hacer llegar la banda ancha de calidad a los hogares de las zonas afectadas por el coronavirus. Esto es lo que debería incluir un plan de estímulo de conectividad:

Cada año, la Comisión Federal de Comunicaciones gasta unos 8.000 millones de dólares para llevar los servicios de comunicaciones a zonas rurales y a estadounidenses de bajos ingresos. Durante esta crisis, debemos utilizar rápidamente estos fondos para aumentar el número de accesos gratuitos disponibles en escuelas y bibliotecas públicas, ampliar el alcance de la telemedicina y mejorar el programa Lifeline, único programa federal con la única misión de llevar conexiones asequibles a los estadounidenses de bajos ingresos, un aspecto crítico en estos tiempos de turbulencia económica. Esta no sería la primera vez que la Comisión ha ampliado el programa Lifeline ante una crisis; en la etapa de George W. Bush lo reforzó a raía del huracán Katrina. Esto además tendría el beneficio añadido de inyectar dinero a la economía nacional mientras el Congreso analiza otras medidas de estímulo.

También deberíamos eliminar los trámites burocráticos y ampliar la flexibilidad normativa cuando ello permita a los proveedores de banda ancha ampliar rápidamente el acceso a Internet. La Comisión podría, por ejemplo, acelerar las decisiones sobre exenciones y licencias experimentales que permitirían a los proveedores desplegar el espectro inalámbrico no utilizado o utilizado de manera ineficientes, así como nuevas tecnologías para aumentar su capacidad y alcance.

A menudo pensamos que la brecha digital es un problema rural, pero las encuestas del censo muestran que el número de hogares que no están conectados en zonas urbanas es tres veces mayor que en las rurales. El coste, es en distritos urbanos la razón más frecuente. Basándose en los datos de Pew y en la Encuesta de la Comunidad Americana, el investigador John Horrigan estima que más de 18 millones de hogares carecen de banda ancha porque es demasiado cara. Para satisfacer las necesidades de las personas de bajos ingresos, algunos proveedores de banda ancha ya ofrecen una tarifa social. En tiempos de emergencia, ningún estadounidense debería quedarse sin conexión debido a su coste.

Deberíamos alentar a todos los proveedores de banda ancha a que se unan al esfuerzo de respuesta al coronavirus creando o ampliando las opciones de bajo precio para las conexiones básicas a Internet. Algunos ya lo han hecho, no obstante debemos hacer más por las familias con bajos ingresos, que ya soportan demasiadas cargas además de esta crisis de salud y sus consecuencias económicas.

Por último, en vista del número de estadounidenses que trabajarán a distancia, utilizarán la telemedicina, asistirán a clases online y en general utilizarán más Internet, los proveedores deben renunciar a los topes de datos en las zonas afectadas durante los próximos 60 días. Esta medida sin duda supondrá un coste para las empresas de telecomunicaciones, pero reconoce la urgencia del momento. También deberíamos alentar a los proveedores de servicios inalámbricos a que utilicen las herramientas de que disponen para desastres naturales y otras emergencias, como centro móviles de conectividad para dar servicio a las zonas que carecen de banda ancha.

Primera sentencia Europea contra el uso de algoritmos

El tribunal distrito de La Haya ha dictado sentencia en contra de un sistema algorítmico utilizado por el Gobierno de los los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda.

El tribunal encuentra que el algoritmo:

  • No cumple con el «equilibrio justo» que debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada
  • Tiene un efecto significativo en la vida privada de la persona a la que se refiere.
  • Considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado.
  • No prevé ninguna obligación de información a las personas cuyos datos se tratan.
  • Tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Como consecuencia, el tribunal concluye que:

  • Es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste.
  • Circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Comentarios a la sentencia del Diario La Ley

El tribunal distrito de La Haya declara que el sistema establecido por el gobierno holandés para valorar el nivel de riesgo de defraudación de los ciudadanos, no cumple las exigencias de proporcionalidad, carece de transparencia y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos.

El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos, por lo que es contrario a la ley.

Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluación de características personales de los ciudadanos. Su difusión ha coincidido, además, con el anuncio de la Comisión de que en breves fechas va a presentar una propuesta de regulación de la IA en la Unión, y con una recientísima decisión del Parlamento Europeo por la que solicita a la Comisión que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protección de los consumidores y la libre circulación de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicación por la AEPD de la Guía de Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial.

Los Hechos

Según la sentencia, cuyo texto está disponible en neerlandés, el denominado Sistema de Indicación de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerlandés utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.

El sistema se basa en la asignación del nivel de riesgo de que una determinada persona cometa fraude a los ingresos públicos, en función de una serie de parámetros analizados y relacionados entre sí.

Esta medida, instaurada a solicitud de determinadas agencias y organismos públicos, a la vista del elevado volumen de fraude detectado en el país, se basa en la denominada Ley de Organización de Implementación y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo artículo 65.2 permite la elaboración de informes de riesgos para evaluar el riesgo de que una persona física o jurídica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos públicos.

De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, dirección, lugar de residencia, dirección postal, fecha de nacimiento, género y características administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida información sobre bienes muebles e inmuebles; datos sobre motivos de exclusión de asistencia o beneficios; datos comerciales; datos de integración, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integración a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligación de reintegro de prestaciones públicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realización de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona está asegurada en virtud de la Ley de seguro de salud.

El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los números de seguridad social y las direcciones por un código (seudónimo). A continuación se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, física o jurídica, o una dirección, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del análisis de riesgos por una unidad de análisis específica. En la segunda fase, los datos descifrados son analizados por esta unidad de análisis, que asigna un nivel de riesgo definitivo.

La decisión del tribunal

Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y según la sentencia del tribunal local de La Haya, la legislación que sustenta la aplicación de este algoritmo, no cumple con el requisito establecido en el Artículo 8, párrafo 2 del CEDH, de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democrática. Es decir, que sea necesaria y proporcional en relación para el propósito previsto.

En particular, estima que esta legislación no cumple con el «equilibrio justo» (fair balance, en el original) que de acuerdo con el CEDH debe existir entre el interés social al que sirve la normativa cuestionada y la violación de la vida privada que supone, para poder estimar suficientemente justificada esta intromisión.

En su evaluación, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protección de datos en virtud del Derecho de la Unión (la CEDH y el RGPD), en particular en los principios de transparencia, de limitación del tratamiento de minimización de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.

Efectos del informe de riesgos sobre la vida privada de las personas

En opinión del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere.

El tribunal también deriva esa conclusión de las directrices del Grupo de Trabajo del artículo 29 del de Protección de Datos de 4 de diciembre de 2008, según las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso más extremo, conducir a su exclusión o discriminación.

Una finalidad legítima, perseguida por unos medios desproporcionados

El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Países Bajos justifica la aplicación de mecanismos de control y supervisión que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnologías proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisión más efectiva.

Pero, añade, en este desarrollo, el derecho a la protección de datos es cada vez más importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilación y el análisis de datos con la ayuda de estas nuevas tecnologías puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.

Falta de transparencia del algoritmo

El principio de transparencia es el principio rector de la protección de datos que subyace y está consagrado en la CEDH y en el RGPD (arts. 5.1 a) y 12).

El tribunal considera que el gobierno holandés no ha hecho público el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado información sobre el método de análisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.

Además, aprecia que la normativa reguladora del algoritmo no prevé ninguna obligación de información a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Relevancia de la falta de transparencia

Como resultado de lo anterior, concluye el tribunal, es imposible verificar cómo está diseñado el árbol de decisión que utiliza el algoritmo y en qué pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a él o ella.

Macron durante discuros sobre IA y redes digitaless

El día 7 de febrero, el presidente Emmanuel Macron dio un discurso en la «École de Guerre». Era la primera vez desde De Gaulle que un presidente francés, sentaba, en tanto que comandante de los ejércitos nacionales, la doctrina militar frente a los mandos y cuadros de las fuerzas armadas y de seguridad.

La razón era establecer y responder a una serie de rupturas, que hemos visto emerger y ahora consolidarse, durante los últimos cinco años, que en conjunto producen un cambio global de la profundidad e importancia equivalentes a las de la caída del bloque soviético en 1989-92. Estas tres rupturas son de orden estratégico (competencia entre EEUU y China), jurídico (crisis del multilateralismo y el orden legal internacional) y finalmente, tecnológico.

La tecnología es, de hecho, un problema, un perturbador y un árbitro de los equilibrios estratégicos al mismo tiempo. El despliegue de 5G, la nube para el almacenamiento de datos, así como los sistemas operativos son ahora infraestructuras estratégicas en el mundo de hoy. En los últimos años, sin duda hemos considerado con demasiada frecuencia que se trata de soluciones comerciales, simplemente industriales o comerciales, mientras que estamos hablando de infraestructuras estratégicas para nuestras economías, obviamente, y para nuestros ejércitos.

La aparición de nuevas tecnologías, como la inteligencia artificial, las aplicaciones de la física cuántica y la biología sintética, ofrece muchas oportunidades, pero también una fuente de inestabilidad futura.

La tecnología digital es una fuente de innovación sin límites, e inspira todos los entornos físicos. Al convertirse en un campo de confrontación por derecho propio, su dominio exacerba las rivalidades entre las potencias, que lo ven como un medio para adquirir superioridad estratégica. También ofrece posibilidades sin precedentes para la vigilancia masiva de las poblaciones y el ejercicio del autoritarismo digital.

En tiempos de crisis, estos avances tecnológicos pondrán más énfasis en nuestras capacidades analíticas y de toma de decisiones, que se encuentran divididas entre la exhaustividad, la veracidad y la capacidad de respuesta. En este sentido, aumentan los riesgos de deslizamiento y exigen la aplicación de mecanismos sólidos y transparentes de desconexión.

No solo la referencia al riesgo de deslizamiento por soluciones creativas de las IAs -en el manejo del arsenal nuclear, por ejemplo- apunta a preocupaciones mucho más sofisticadas de las habitualmente recogidas en la prensa. Existe una preocupación franca por la relación entre soberanía y tecnología. El Presidente no podía ser más claro al afirmar que:

Para construir la Europa del mañana, nuestros estándares no pueden estar bajo el control americano, nuestras infraestructuras, nuestros puertos y aeropuertos bajo el capital chino y nuestras redes digitales bajo la presión rusa.

Es decir, las estructuras tecnológicas no son meros soportes a la actividad comercial. Son elementos estratégicos centrales de cualquier política de seguridad nacional en nuestro siglo.

Este es el caso de las infraestructuras 5G, la nube, que es decisiva para el almacenamiento de datos, los sistemas operativos, las redes de cable submarino, que son el centro neurálgico de nuestra economía globalizada. A nivel europeo, también necesitamos controlar nuestro acceso al espacio y decidir por nosotros mismos las normas que se imponen a nuestras empresas.

Esta política de normas, esta política de infraestructuras estratégicas, es esencial. Y es esencial para nuestra seguridad colectiva y nuestra capacidad de actuar. Vivimos en un mundo de interoperabilidad, con equipos cada vez más digitales. Gastar lo que estamos gastando para tener un equipo perfecto y entregar la infraestructura de conexión, entre nuestro equipo y nuestros países, a otros, sin ninguna garantía, seguiría siendo extrañamente ingenuo. Disculpen sin no deseo participar.

Tablero de Go

A continuación reproducimos dos artículos en los que la comunidad científica alertan sobre la imposibilidad de comprender cómo aprenden los sistemas de inteligencia artificial, y por lo tanto, las limitaciones para replicar resultados positivos.

Investigadores de Inteligencia artificial afirman que el aprendizaje automático es alquimia

Matthew Hutson, Revista Science- 3 de mayo de 2018

Ali Rahimi, uno de los investigadores en inteligencia artificial de Google lanzó un directo a la comunidad científica el pasado diciembre y recibió una ovación de 40 segundos por ello. Hablando en una conferencia sobre IA, Rahimi denunció que los algoritmos de aprendizaje automático, con los que las computadoras aprenden a través del ensayo y el error, se han convertido en una forma de «alquimia». Los investigadores, dijo, no saben por qué algunos algoritmos funcionan y otros no, ni tienen criterios rigurosos para elegir una arquitectura de IA en lugar de otra. Ahora, en un documento presentado el 30 de abril en la Conferencia Internacional sobre Representaciones del Aprendizaje en Vancouver, Rahimi y sus colaboradores documentan ejemplos de lo que consideran el problema de la alquimia y ofrecen recetas para reforzar el rigor de la IA.

«Hay angustia en el sector», dice Rahimi. «Muchos de nosotros sentimos que estamos operando con tecnología alienígena».

El problema es distinto del de la reproducibilidad del IA, en el que los investigadores no pueden replicar los resultados de los demás debido a la inconsistencia de las prácticas experimentales y de publicación. También difiere del problema de la «caja negra» o «interpretabilidad» en el aprendizaje automático. El problema es: la dificultad de explicar cómo ha llegado a sus conclusiones una determinada IA. Como dice Rahimi, «quiero diferenciar entre un sistema de aprendizaje automático que es una caja negra y un campo entero que se ha convertido en una caja negra».

Sin un conocimiento profundo de las herramientas básicas necesarias para construir y entrenar nuevos algoritmos, dice, los investigadores que crean IAs recurren a los rumores, como los alquimistas medievales. «La gente gravita en torno a las prácticas de culto cargo», basándose en «el folclore y los hechizos mágicos», añade François Chollet, un informático de Google en Mountain View. Por ejemplo, dice, adoptan métodos conductistas de entrenamiento para ajustar los «ritmos de aprendizaje» de sus IAs -cuánto se corrige un algoritmo después de cada error- sin entender por qué uno es mejor que otro. En otros casos, los investigadores que entrenan sus algoritmos simplemente tropiezan en la oscuridad. Por ejemplo, implementan lo que se denomina «descenso estocástico por gradiente» con el fin de optimizar los parámetros de un algoritmo para obtener la tasa de fallo más baja posible. Sin embargo, a pesar de los miles de trabajos académicos sobre el tema y de las innumerables maneras de aplicar el método, el proceso sigue basándose en el ensayo y el error.

El artículo de Rahimi destaca el esfuerzo desperdiciado y el rendimiento subóptimo que este problema produce. Por ejemplo, observa que cuando otros investigadores quitaron la mayor parte de los elementos más complejos de un algoritmo de traducción de idiomas de última generación, en realidad tradujo del inglés al alemán o al francés mejor y de manera más eficiente, lo que demuestra que sus creadores no entendían plenamente para qué servían esas partes adicionales. Por el contrario, a veces la parafernalia añadida a un algoritmo es la única parte buena, dice Ferenc Huszár, un investigador de aprendizaje de máquinas de Twitter. En algunos casos, dice, el núcleo de un algoritmo es técnicamente defectuoso, lo que implica que sus buenos resultados son «atribuibles totalmente a otros trucos puestos encima».

Rahimi ofrece varias sugerencias para averiguar qué algoritmos funcionan mejor y cuándo. Para empezar, dice, los investigadores deberían realizar «estudios de ablación» como los realizados con el algoritmo de traducción: borrar partes de un algoritmo una por una para ver la función de cada componente. Pide un «análisis por partes», en el que se analice detalladamente el rendimiento de un algoritmo para ver cómo las mejoras en algunas áreas pueden tener un coste en otras. Y dice que los investigadores deberían probar sus algoritmos con muchas condiciones y ajustes diferentes, y deberían reportar el desempeño de todos ellos.

Ben Recht, un científico informático de la Universidad de California, Berkeley, y coautor de la charla principal de Rahimi sobre la alquimia, dice que la IA necesita imitar a la física, donde los investigadores a menudo reducen un problema a un pequeño «problema de juguete». «Los físicos son increíbles en idear experimentos sencillos para conseguir explicar fenómenos», dice. Algunos investigadores de IA ya están adoptando ese enfoque, probando algoritmos de reconocimiento de imágenes en pequeños caracteres escritos a mano en blanco y negro antes de abordar grandes fotografías en color, para comprender mejor la mecánica interna de los algoritmos.

Csaba Szepesvári, un científico informático de DeepMind en Londres, dice que el campo también necesita reducir su énfasis en las pruebas competitivas. En la actualidad, es más probable que se publique un artículo si el algoritmo reportado supera algún punto de referencia que si el artículo arroja luz sobre el funcionamiento interno del software, dice. Así es como el algoritmo de traducción de fantasía llegó a través de la revisión por pares. «El propósito de la ciencia es generar conocimiento», dice. «Quieres producir algo que otras personas puedan utilizar y construir».

No todos están de acuerdo con la crítica de Rahimi y Recht. A Yann LeCun, científico jefe de AI en Facebook, le preocupa que el hecho de apartar demasiado esfuerzo de las técnicas de vanguardia hacia la comprensión básica podría frenar la innovación y desalentar la adopción de la IA en el mundo real. «No es alquimia, es ingeniería», dice. «La ingeniería es un lío».

Recht ve un lugar para la investigación metódica y aventurera por igual. «Necesitamos ambas cosas», dice.

«Necesitamos entender dónde están los puntos de fallo para poder construir sistemas confiables, y tenemos que llevar más allá los límites para poder tener sistemas aún más impresionantes en el futuro».

La Inteligencia artificial se enfrenta a una crisis de reproducibilidad

Gregory Barber, Revista Wired – 16 de septiembre de 2019

Hace unos años, Joelle Pineau, profesora de informática en McGill, ayudaba a sus estudiantes a diseñar un nuevo algoritmo cuando éstos tropezaron con obstáculo en apariencia, imposible de salvar. Su laboratorio estudia el aprendizaje de refuerzo, un tipo de inteligencia artificial que se utiliza, entre otras cosas, para ayudar a los personajes virtuales a aprender a moverse en los mundos virtuales. Es un requisito previo para construir robots y coches autónomos. Los estudiantes de Pineau esperaban mejorar el sistema de otro laboratorio. Pero primero tuvieron que reconstruirlo, y su diseño, por razones desconocidas, no alcanzaba los resultados prometidos. Hasta que los estudiantes probaron algunas «manipulaciones creativas» que no aparecían en el trabajo del otro laboratorio.

Y he aquí que el sistema comenzó a funcionar como se anunciaba. El golpe de suerte fue un síntoma de una tendencia preocupante, según Pineau. Las redes neuronales, la técnica que nos han dado los robots Go-mastering y los generadores de texto que crean la poesía clásica china, a menudo se llaman cajas negras debido a los misterios de cómo funcionan. Lograr que se desempeñen bien puede ser como un arte, que involucra ajustes sutiles que no se reportan en las publicaciones. Las redes también son cada vez más grandes y complejas, con enormes conjuntos de datos y arreglos informáticos masivos que encarecen la posibilidad de réplica y el estudio de esos modelos, haciendo su reproducción imposible, excepto para los laboratorios mejor financiados.

Anna Rogers, investigadora de machine learning de la Universidad de Massachusetts, se pregunta si eso sigue siendo acaso investigación.

«No está claro si estás demostrando la superioridad de tu modelo o tu presupuesto».

Pineau está tratando de cambiar los estándares. Es la presidenta de reproducibilidad de NeurIPS, un congreso de inteligencia artificial de primer nivel. Bajo su supervisión, el congreso pide ahora a los investigadores que presenten una «lista de comprobación – o checklist- de la reproducibilidad» que incluya elementos que a menudo se omiten en las ponencias, como el número de modelos entrenados antes de que se seleccionara «el mejor», la potencia de cálculo utilizada y los enlaces al código y a los conjuntos de datos. Es todo un cambio para un campo donde el prestigio se basa en clasificaciones que determinan qué sistema es el «estado del arte» para una tarea en particular, y ofrece un gran incentivo para pasar por alto las tribulaciones que llevaron a esos resultados espectaculares.

La idea, dice Pineau, es animar a los investigadores a ofrecer una hoja de ruta para que otros repliquen su trabajo. Una cosa es maravillarse de la elocuencia de un nuevo generador de texto o de la agilidad sobrehumana de un robot de videojuegos. Pero incluso los investigadores más sofisticados tienen una idea muy vaga de cómo funcionan. Replicar esos modelos de IA es importante para identificar nuevas vías de investigación, y además supone una manera de investigar algoritmos a medida que aumentan, y en algunos casos suplantan, la toma de decisiones humanas -desde quién ingresa en prisión y por cuánto tiempo hasta quién recibe una hipoteca.

No son los únicos que están denunciando el problema. Los investigadores de Google han propuesto las llamadas «tarjetas modelo» para detallar cómo se han sido testados los sistemas de machine learning, incluyendo resultados que señalan posibles sesgos. Otros han intentado mostrar lo frágil que es el término «estado del arte» cuando los sistemas, optimizados para los conjuntos de datos utilizados en las clasificaciones, se aplican en otros contextos. La semana pasada, investigadores del Instituto Allen de Inteligencia Artificial, o AI2, publicaron un artículo que pretende ampliar la lista de control de reproducibilidad de Pineau a otras partes del proceso experimental. Lo llaman «Show your work».

«Empezar donde alguien lo dejó es un dolor porque nunca describimos completamente el montaje experimental», dice Jesse Dodge, un investigador de AI2 que fue coautor de la investigación. «Otros investigadores no podrán reproducir lo que hicimos si no contamos lo que hicimos». Lo raro, añade, es que un equipo reporte detalles básicos sobre cómo fue construido un determinado sistema. Un estudio sobre los documentos de aprendizaje de refuerzo realizada el año pasado concluyó que sólo la mitad de ellos incluía código.

A veces, falta información básica porque es propietaria, un problema especialmente recurrente en los laboratorios de empresas. Pero es más a menudo una señal de la incapacidad del campo para mantenerse al día con los cambios de métodos, dice Dodge. Hace una década, era más sencillo ver lo que un investigador cambiaba para mejorar sus resultados. Las redes neuronales, en comparación, son quisquillosas; obtener los mejores resultados a menudo implica afinar miles de pequeñas palancas, lo que Dodge llama una forma de «magia negra». Elegir el mejor modelo a menudo requiere un gran número de experimentos. La magia se vuelve cara muy rápidamente.

Incluso los grandes laboratorios corporativos, que disponen de los recursos para diseñar los sistemas más grandes y complejos, se han dado cuenta del problema. Cuando Facebook intentó replicar AlphaGo, el sistema desarrollado por Alphabet’s DeepMind para dominar el antiguo juego del Go, los investigadores parecían agotados por la tarea. Los enormes requerimientos computacionales -millones de experimentos ejecutados en miles de dispositivos durante días- combinados con código no disponible, hicieron que el sistema fuera «muy difícil, si no imposible, de reproducir, estudiar, mejorar y ampliar», escribieron en un artículo publicado en mayo. (El equipo de Facebook finalmente tuvo éxito.)

La investigación AI2 propone una solución a este problema. La idea es proporcionar más datos sobre los experimentos que se llevan a cabo. Cualquiera puede reportar el mejor modelo que obtuvo después de, digamos, 100 experimentos -el resultado que podría ser declarado «estado del arte»- pero también debería reportar el rango de rendimiento esperado si sólo tuviera el presupuesto para probarlo 10 veces, o sólo una vez.

El punto de reproducibilidad, según Dodge, no es replicar los resultados exactamente. Eso sería casi imposible dada la aleatoriedad natural de las redes neuronales y las variaciones en el hardware y el código. En su lugar, la idea es ofrecer una hoja de ruta para llegar a las mismas conclusiones que la investigación original, especialmente cuando esto implica decidir qué sistema de aprendizaje por máquina es el mejor para una tarea en particular.

Eso podría ayudar a que la investigación sea más eficiente, explica Dodge. Cuando su equipo reconstruyó algunos sistemas populares de aprendizaje de máquinas, descubrieron que para algunos presupuestos, los métodos más anticuados tenían más sentido que los que estaban a la última. La idea es ayudar a los laboratorios académicos más pequeños esbozando cómo obtener el mejor beneficio dadas sus limitaciones financieras. Un beneficio secundario, añade, es que el enfoque podría fomentar una investigación más ecológica, dado que la formación de modelos de gran escala puede requerir tanta energía como las emisiones de un coche durante su vida útil.

Pineau asegura sentirse alentada al ver a otros tratando de «abrir modelos», pero no puede asegurar que la mayoría de laboratorios se beneficien del ahorro de costos. Muchos investigadores seguirán bajo la presión de utilizar cuanta mayor capacidad de computación sea posible. Y por otro lado están las dificultades para informar sobre los resultados de la investigación. Es posible que el enfoque de AI2 de «show your work» pueda enmascarar complejidades; estas variaciones en los métodos son en parte la razón por la cual la lista de control de reproducibilidad de NeurIPS es voluntaria. Un obstáculo, especialmente para los laboratorios corporativos, es el código propietario y la confidencialidad de los datos. Si, por ejemplo, Facebook está investigando con sus fotos de Instagram, hay un problema para compartir esos datos públicamente. La investigación clínica con datos de salud es otro punto conflictivo.

En otras palabras, es difícil desarrollar estándares de reproducibilidad que funcionen sin limitar a los investigadores, especialmente a medida que los métodos evolucionan rápidamente.

La casa Azul - Presidencia de Corea

Antecedentes

En 2007, cuando se entendió que el ciberacoso se estaba convirtiendo en un problema, la Asamblea Nacional de Corea del Sur aprobó una ley que ordenaba que las identidades reales de las personas en Internet se validaran a través de sus números de registro en la seguridad social. Todo internauta pasaba a partir de ese momento a estar identificado con su nombre y apellidos reales facilitando la actuación ante agresiones digitales. La razón fundamental detrás de la ley fue que el anonimato online ofrecía una falta de transparencia y de responsabilidad, haciendo más sencillo perseverar en conductas de abuso y persecución. El ciberacosose entendía y se elevaba a problema nacional.

La ley contra el acoso online y el fin del anonimato en Internet fue aprobada. Sin embargo, tuvo escaso impacto en el comportamiento de las personas en Internet y dio pie a un lamentable suceso. El reglamento incluía que compañías de telecomunicaciones y sitios web almacenaran los datos de identificación de los usuarios; un material muy jugoso que pronto atrajo la atención de profesionales con oscuras intenciones. Los datos del 70% de los ciudadanos de Corea fueron extraídos durante una serie de ataques cibernéticos. Finalmente, en 2012, el Tribunal Constitucional declaró inconstitucionales las secciones de la ley que obligaban a facilitar datos de identidad a terceros para acceder a Internet.

Conmoción

En octubre de 2019, una de las estrellas más famosas del K-Pop, Sulli, se suicidó, trayendo de nuevo el problema del ciberbulling a la luz pública. Sulli sufría persecuciones online desde hacía años, hecho que había denunciado públicamente. Además Sulli conducía un programa en la televisión coreana orientado al público juvenil y dedicado a educar y concienciar sobre los daños producidos por el acoso cibernético.

En 2018 Sulli había solicitado a su agencia que iniciara acciones legales para intentar poner fin a las agresiones digitales que venía sufriendo. Aunque la agencia anunció que tomaría medidas, poco después declaró que no podía ejecutar el proceso ya que la dirección IP de los usuarios identificados como agresores estaba registrada en un país extranjero. Al conocerse la muerte de Sulli, el sitio web de la oficina del presidente surcoreano, Moon Jae-in, se inundó de peticiones solicitando recuperar el registro de identidad real obligatorio para comentar y publicar contenidos en sitios web.

La nueva ley

La nueva iniciativa legal, encabezada por el Nuevo Partido Alternativo, una escisión del Partido Demócrata de Corea, se centra en reducir los comentarios maliciosos que se publican en Internet. La formación política considera la muerte de Sulli un «asesinato social» y se ha mostrado inflexible en la necesidad de terminar con el anonimato en Internet.

… la muerte de Sulli es nada menos que un asesinato social. La prensa compitió en el marketing de clickbait utilizando la vida cotidiana de una
persona. Es más, los sitios web permiten y alientan la cultura de la agresión como espectáculo. Innumerables ciberdelincuentes, bajo el discurso de la libertad de prensa, pisotearon la dignidad humana de Sulli. Ahora es el momento de establecer un solución social a una cultura inhumana en Internet, haciendo valer la posición internacional de Corea como una superpotencia de Internet.

Los debates previos en torno a la Ley de Sulli han supuesto la recuperación del mandato del «nombre real», algo que resulta paradójico tras haber sido declarada anticonstitucional hace unos años. El debate de fondo refleja el delicado equilibrio entre la libertad de expresión y la garantía de los derechos de los ciudadanos en el espacio digital. Los defensores del fin del anonimato y de la ubicuidad de las plataformas digitales argumentan que la libertad de expresión es un valor vital en la
sociedad democrática, pero insultar y dañar la dignidad de otra persona está más allá de ese límite. Lee Dong-gwi, reputado profesor de psicología en la Universidad de Yonsei en Seúl defiende que,

debe haber sanciones mucho más duras para quienes violen esa ley.

Primeras encuestas revelan que el 70% de la población de Corea del Sur apoya la creación de una nueva legislación. Su votación en la asamblea legislativa está prevista para los primeros días de diciembre. El pasado 24 de noviembre, otra estrella del K-Pop, Goo Hara, apareció muerta en su domicilio. la investigación policial indica que se trata de un nuevo caso de suicidio con ciberacoso previo.

Derechos de Ciudadanía Digital