Blog

Palacio sede del Consejo de Estado - Italia

Recientemente el Consejo de Estado (Consiglio di Stato), el principal √≥rgano judicial-administrativo y consultivo italiano, emiti√≥ una interesante decisi√≥n relativa a la posibilidad y la legalidad de que la administraci√≥n p√ļblica se base en procedimientos y decisiones basados en algoritmos.

En el caso en cuestión, la controversia se refería al resultado de un procedimiento de contratación extraordinaria de maestros de escuela, llevado a cabo por el Ministerio de Educación italiano: en el contexto de ese procedimiento, se asignaron geográficamente diferentes lugares de trabajo a los maestros contratados.

Este procedimiento -basado √ļnicamente en un algoritmo que, en opini√≥n de los profesores, no funcionaba correctamente- organizaba los traslados sin tener debidamente en cuenta las preferencias expresadas por los profesores, incluso en presencia de plazas disponibles en las zonas geogr√°ficas preferidas. En esencia, el mecanismo de movilidad extraordinaria result√≥ perjudicial para los profesores que fueron trasladados a provincias alejadas de la de su residencia o de la elegida con prioridad en el momento de su solicitud de empleo.

Aunque consider√≥ ileg√≠timo el algoritmo utilizado en el caso concreto, el Consejo no excluy√≥ en absoluto la posibilidad de que la administraci√≥n p√ļblica adoptara algoritmos: m√°s bien se√Īal√≥ que la administraci√≥n p√ļblica podr√° explotar el importante potencial de la llamada ¬ęrevoluci√≥n digital¬Ľ, utilizando tambi√©n algoritmos, pero s√≥lo en determinadas condiciones. Seg√ļn el Consejo, la utilizaci√≥n de algoritmos inform√°ticos para la adopci√≥n de decisiones que afectan a la esfera p√ļblica y privada debe evaluarse siempre en t√©rminos de eficacia y neutralidad: esto significa que la utilidad de los algoritmos para la gesti√≥n del inter√©s p√ļblico puede ser particularmente √ļtil en lo que respecta a procedimientos, como el que nos ocupa, que son seriados o normalizados, que implican la tramitaci√≥n de grandes cantidades de solicitudes, y que se caracterizan por el acopio de determinados elementos objetivamente demostrables y por la ausencia de toda apreciaci√≥n discrecional.

En opini√≥n del Consejo de Estado italiano, la plena admisibilidad de esos instrumentos podr√≠a responder a los criterios de eficiencia y eficacia en funci√≥n de los costos de la acci√≥n administrativa, que, de conformidad con el principio constitucional de buena ejecuci√≥n de la acci√≥n administrativa (art√≠culo 97 de la Constituci√≥n italiana), exigen que la administraci√≥n alcance sus objetivos con el menor gasto de recursos y mediante la racionalizaci√≥n y aceleraci√≥n del procedimiento p√ļblico.

El uso del algoritmo debe estar correctamente enmarcado en t√©rminos de medidas organizativas, medios procesales y de investigaci√≥n, sujeto a los requisitos, comprobaciones y controles t√≠picos de cualquier procedimiento administrativo, asegurando que la elecci√≥n autorizada se lleve a cabo sobre la base de la ley que atribuye el poder y los prop√≥sitos a la autoridad p√ļblica. El Consejo destac√≥ tres principios interesantes, relativos a los algoritmos potencialmente adoptados por la administraci√≥n p√ļblica.

  • En primer lugar, el ¬ęprincipio de conocimiento¬Ľ, en virtud del cual toda persona tiene derecho a conocer la existencia de los procesos automatizados de adopci√≥n de decisiones que le conciernen y a recibir informaci√≥n significativa sobre su l√≥gica. Esta norma constituye una aplicaci√≥n espec√≠fica directa del arte. 41 de la Carta de Derechos Fundamentales de la Uni√≥n Europea, en el que se establece que cuando la Administraci√≥n P√ļblica se proponga adoptar una decisi√≥n que pueda tener efectos adversos para una persona, tiene la obligaci√≥n de ¬ęmotivar su decisi√≥n¬Ľ y la persona interesada tiene derecho a ser o√≠da y a tener acceso a sus archivos y documentos. El Consejo subray√≥ que el derecho a saber debe ir acompa√Īado de mecanismos capaces de descifrar la l√≥gica del algoritmo. En esta perspectiva, el principio de la conocibilidad se completa con el principio de la comprensibilidad, es decir, la posibilidad de recibir informaci√≥n significativa sobre la l√≥gica en cuesti√≥n, as√≠ como sobre el significado y las consecuencias previstas de ese tratamiento para el interesado. Sin embargo, al leer la decisi√≥n, parece que el Consejo de Estado no consider√≥ esencial y obligatoria la divulgaci√≥n completa y exhaustiva del c√≥digo algor√≠tmico.
  • En segundo lugar, el Consejo identific√≥ el ¬ęprincipio de no exclusividad¬Ľ de la decisi√≥n algor√≠tmica, que se deriva del Art√≠culo 22 Reg. UE 2016/679 (GDPR). Una persona tendr√° derecho a no ser objeto de una decisi√≥n basada √ļnicamente en un tratamiento automatizado, incluida la elaboraci√≥n de perfiles, que produzca efectos jur√≠dicos que le conciernan o que le afecten de forma similar y significativa, teniendo derecho a obtener, al menos, una intervenci√≥n humana por parte del responsable del tratamiento (la administraci√≥n p√ļblica, el Ministerio de Educaci√≥n en el caso concreto), a expresar su punto de vista y a impugnar la decisi√≥n.

Primera sentencia Europea contra el uso de algoritmos

El tribunal distrito de La Haya ha dictado sentencia en contra de un sistema algorítmico utilizado por el Gobierno de los los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda.

El tribunal encuentra que el algoritmo:

  • No cumple con el ¬ęequilibrio justo¬Ľ que debe existir entre el inter√©s social al que sirve la normativa cuestionada y la violaci√≥n de la vida privada
  • Tiene un efecto significativo en la vida privada de la persona a la que se refiere.
  • Considera que el gobierno holand√©s no ha hecho p√ļblico el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado informaci√≥n sobre el m√©todo de an√°lisis de riesgos utilizado.
  • No prev√© ninguna obligaci√≥n de informaci√≥n a las personas cuyos datos se tratan.
  • Tampoco prev√© ninguna obligaci√≥n de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluaci√≥n de riesgo ha sido positiva.

Como consecuencia, el tribunal concluye que:

  • Es imposible verificar c√≥mo est√° dise√Īado el √°rbol de decisi√≥n que utiliza el algoritmo y en qu√© pasos consiste.
  • Circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a √©l o ella.

Comentarios a la sentencia del Diario La Ley

El tribunal distrito de La Haya declara que el sistema establecido por el gobierno holandés para valorar el nivel de riesgo de defraudación de los ciudadanos, no cumple las exigencias de proporcionalidad, carece de transparencia y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos.

El tribunal distrito de La Haya (Rechtbank Den Haag), ha dictado una sentencia, de fecha 5 de febrero de 2020, por la que establece que un sistema algorítmico utilizado por el Gobierno de los Países Bajos para evaluar el riesgo de fraude a la seguridad social o a hacienda, no cumple las exigencias de proporcionalidad y transparencia necesarias y vulnera las previsiones sobre respeto a la vida privada que reconoce el artículo 8 del Convenio Europeo de Derechos Humanos, por lo que es contrario a la ley.

Se trata de la primera sentencia conocida en Europa por la se declara ilegal un algoritmo sobre evaluación de características personales de los ciudadanos. Su difusión ha coincidido, además, con el anuncio de la Comisión de que en breves fechas va a presentar una propuesta de regulación de la IA en la Unión, y con una recientísima decisión del Parlamento Europeo por la que solicita a la Comisión que apruebe una normativa sobre los procesos automatizados de toma de decisiones, a fin de garantizar la protección de los consumidores y la libre circulación de bienes y servicios. Y, a nivel nacional, con el anuncio de la publicación por la AEPD de la Guía de Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial.

Los Hechos

Seg√ļn la sentencia, cuyo texto est√° disponible en neerland√©s, el denominado Sistema de Indicaci√≥n de Riesgos (Systeem Risico Indicatie, SyRI, nada que ver con el asistente de voz de Apple) es un instrumento legal que el gobierno neerland√©s utiliza para prevenir y combatir el fraude en el campo de la seguridad social y los esquemas relacionados con los ingresos, las contribuciones fiscales y de la seguridad social y las leyes laborales.

El sistema se basa en la asignaci√≥n del nivel de riesgo de que una determinada persona cometa fraude a los ingresos p√ļblicos, en funci√≥n de una serie de par√°metros analizados y relacionados entre s√≠.

Esta medida, instaurada a solicitud de determinadas agencias y organismos p√ļblicos, a la vista del elevado volumen de fraude detectado en el pa√≠s, se basa en la denominada Ley de Organizaci√≥n de Implementaci√≥n y Estructura de Ingresos (Wet structuur uitvoeringsorganisatie en inkomen, SUWI), cuyo art√≠culo 65.2 permite la elaboraci√≥n de informes de riesgos para evaluar el riesgo de que una persona f√≠sica o jur√≠dica haga un uso ilegal de fondos gubernamentales en el campo de la seguridad social y los esquemas relacionados con los ingresos p√ļblicos.

De acuerdo con el Reglamento de desarrollo de la Ley, el sistema utiliza un algoritmo que procesa datos como nombre, direcci√≥n, lugar de residencia, direcci√≥n postal, fecha de nacimiento, g√©nero y caracter√≠sticas administrativas de las personas; sobre su trabajo; sobre medidas y sanciones administrativas aplicadas a la misma; sus datos fiscales, incluida informaci√≥n sobre bienes muebles e inmuebles; datos sobre motivos de exclusi√≥n de asistencia o beneficios; datos comerciales; datos de integraci√≥n, que son datos que pueden usarse para determinar si se han impuesto obligaciones de integraci√≥n a una persona; historial de cumplimiento de las leyes y reglamentos; datos sobre becas recibidas; sobre pensiones; sobre la obligaci√≥n de reintegro de prestaciones p√ļblicas; sobre endeudamiento; sobre beneficios, ayudas y subsidios recibidos; sobre permisos y exenciones recibidos para la realizaci√≥n de actividades y datos del seguro de salud, entendidos exclusivamente como aquellos que se pueden usar para determinar si una persona est√° asegurada en virtud de la Ley de seguro de salud.

El procesamiento de estos datos se realiza en dos fases. En la primera se recogen y pseudonimizan, reemplazando el nombre personal, los n√ļmeros de seguridad social y las direcciones por un c√≥digo (seud√≥nimo). A continuaci√≥n se comparan los datos con el modelo de riesgos y se identifican los posibles factores de riesgo. Si una persona, f√≠sica o jur√≠dica, o una direcci√≥n, es clasificada como de riesgo elevado, sus datos se descifran nuevamente utilizando el archivo de clave y transferidos a una segunda fase del an√°lisis de riesgos por una unidad de an√°lisis espec√≠fica. En la segunda fase, los datos descifrados son analizados por esta unidad de an√°lisis, que asigna un nivel de riesgo definitivo.

La decisión del tribunal

Esa normativa fue impugnada por diversas organizaciones de defensa de los derechos humanos y civiles holandesas y seg√ļn la sentencia del tribunal local de La Haya, la legislaci√≥n que sustenta la aplicaci√≥n de este algoritmo, no cumple con el requisito establecido en el Art√≠culo 8, p√°rrafo 2 del CEDH, de que la interferencia con el ejercicio del derecho al respeto de la vida privada resulte necesaria en una sociedad democr√°tica. Es decir, que sea necesaria y proporcional en relaci√≥n para el prop√≥sito previsto.

En particular, estima que esta legislaci√≥n no cumple con el ¬ęequilibrio justo¬Ľ (fair balance, en el original) que de acuerdo con el CEDH debe existir entre el inter√©s social al que sirve la normativa cuestionada y la violaci√≥n de la vida privada que supone, para poder estimar suficientemente justificada esta intromisi√≥n.

En su evaluación, el tribunal ha tenido en cuenta los principios fundamentales en los que se basa la protección de datos en virtud del Derecho de la Unión (la CEDH y el RGPD), en particular en los principios de transparencia, de limitación del tratamiento de minimización de datos, y concluye que la normativa que regula el uso de SyRI es insuficientemente clara y verificable, por lo que la declara contraria a la ley.

Efectos del informe de riesgos sobre la vida privada de las personas

En opinión del tribunal, aunque el informe de riesgos generado por el algoritmo no tiene en sí mismo una consecuencia legal directa, civil, administrativa o penal, sí que tiene un efecto significativo en la vida privada de la persona a la que se refiere.

El tribunal tambi√©n deriva esa conclusi√≥n de las directrices del Grupo de Trabajo del art√≠culo 29 del de Protecci√≥n de Datos de 4 de diciembre de 2008, seg√ļn las cuales debe entenderse que el procesamiento de datos afecta significativamente a una persona cuando sus efectos sean lo suficientemente grandes o importantes como para afectar significativamente al comportamiento o a las decisiones de las personas involucradas; tener un efecto a largo plazo o duradero en la persona interesada; o en el caso m√°s extremo, conducir a su exclusi√≥n o discriminaci√≥n.

Una finalidad legítima, perseguida por unos medios desproporcionados

El tribunal estima que el volumen del fraude al sistema de la seguridad social en los Países Bajos justifica la aplicación de mecanismos de control y supervisión que limiten o eliminen sus efectos. En concreto, el desarrollo de nuevas tecnologías proporciona al gobierno, entre otras cosas, opciones digitales para vincular archivos y analizar datos con la ayuda de algoritmos y, por lo tanto, ejercer una supervisión más efectiva.

Pero, a√Īade, en este desarrollo, el derecho a la protecci√≥n de datos es cada vez m√°s importante, en parte debido a la propia velocidad de ese desarrollo, ya que la recopilaci√≥n y el an√°lisis de datos con la ayuda de estas nuevas tecnolog√≠as puede afectar profundamente a la vida privada de aquellos con quienes se relacionan esos datos.

Falta de transparencia del algoritmo

El principio de transparencia es el principio rector de la protección de datos que subyace y está consagrado en la CEDH y en el RGPD (arts. 5.1 a) y 12).

El tribunal considera que el gobierno holand√©s no ha hecho p√ļblico el tipo de algoritmos utilizados en el modelo de riesgo, ni proporcionado informaci√≥n sobre el m√©todo de an√°lisis de riesgos utilizado, con la excusa de evitar que los ciudadanos pudiesen ajustar su comportamiento en consecuencia.

Además, aprecia que la normativa reguladora del algoritmo no prevé ninguna obligación de información a las personas cuyos datos se tratan, de modo que no cabe esperar razonablemente que esas personas sepan que sus datos se utilizan o se han utilizado para esa finalidad. Adicionalmente, esta normativa tampoco prevé ninguna obligación de informar a los interesados individualmente, cuando proceda, del hecho de que se su evaluación de riesgo ha sido positiva.

Relevancia de la falta de transparencia

Como resultado de lo anterior, concluye el tribunal, es imposible verificar c√≥mo est√° dise√Īado el √°rbol de decisi√≥n que utiliza el algoritmo y en qu√© pasos consiste. Una circunstancia que dificulta que una persona afectada por el mismo pueda defenderse contra el hecho de que se haya realizado un informe de riesgos con respecto a √©l o ella.

Macron durante discuros sobre IA y redes digitaless

El d√≠a 7 de febrero, el presidente Emmanuel Macron dio un discurso en la ¬ę√Čcole de Guerre¬Ľ. Era la primera vez desde De Gaulle que un presidente franc√©s, sentaba, en tanto que comandante de los ej√©rcitos nacionales, la doctrina militar frente a los mandos y cuadros de las fuerzas armadas y de seguridad.

La raz√≥n era establecer y responder a una serie de rupturas, que hemos visto emerger y ahora consolidarse, durante los √ļltimos cinco a√Īos, que en conjunto producen un cambio global de la profundidad e importancia equivalentes a las de la ca√≠da del bloque sovi√©tico en 1989-92. Estas tres rupturas son de orden estrat√©gico (competencia entre EEUU y China), jur√≠dico (crisis del multilateralismo y el orden legal internacional) y finalmente, tecnol√≥gico.

La tecnolog√≠a es, de hecho, un problema, un perturbador y un √°rbitro de los equilibrios estrat√©gicos al mismo tiempo. El despliegue de 5G, la nube para el almacenamiento de datos, as√≠ como los sistemas operativos son ahora infraestructuras estrat√©gicas en el mundo de hoy. En los √ļltimos a√Īos, sin duda hemos considerado con demasiada frecuencia que se trata de soluciones comerciales, simplemente industriales o comerciales, mientras que estamos hablando de infraestructuras estrat√©gicas para nuestras econom√≠as, obviamente, y para nuestros ej√©rcitos.

La aparición de nuevas tecnologías, como la inteligencia artificial, las aplicaciones de la física cuántica y la biología sintética, ofrece muchas oportunidades, pero también una fuente de inestabilidad futura.

La tecnología digital es una fuente de innovación sin límites, e inspira todos los entornos físicos. Al convertirse en un campo de confrontación por derecho propio, su dominio exacerba las rivalidades entre las potencias, que lo ven como un medio para adquirir superioridad estratégica. También ofrece posibilidades sin precedentes para la vigilancia masiva de las poblaciones y el ejercicio del autoritarismo digital.

En tiempos de crisis, estos avances tecnológicos pondrán más énfasis en nuestras capacidades analíticas y de toma de decisiones, que se encuentran divididas entre la exhaustividad, la veracidad y la capacidad de respuesta. En este sentido, aumentan los riesgos de deslizamiento y exigen la aplicación de mecanismos sólidos y transparentes de desconexión.

No solo la referencia al riesgo de deslizamiento por soluciones creativas de las IAs -en el manejo del arsenal nuclear, por ejemplo- apunta a preocupaciones mucho más sofisticadas de las habitualmente recogidas en la prensa. Existe una preocupación franca por la relación entre soberanía y tecnología. El Presidente no podía ser más claro al afirmar que:

Para construir la Europa del ma√Īana, nuestros est√°ndares no pueden estar bajo el control americano, nuestras infraestructuras, nuestros puertos y aeropuertos bajo el capital chino y nuestras redes digitales bajo la presi√≥n rusa.

Es decir, las estructuras tecnológicas no son meros soportes a la actividad comercial. Son elementos estratégicos centrales de cualquier política de seguridad nacional en nuestro siglo.

Este es el caso de las infraestructuras 5G, la nube, que es decisiva para el almacenamiento de datos, los sistemas operativos, las redes de cable submarino, que son el centro neurálgico de nuestra economía globalizada. A nivel europeo, también necesitamos controlar nuestro acceso al espacio y decidir por nosotros mismos las normas que se imponen a nuestras empresas.

Esta pol√≠tica de normas, esta pol√≠tica de infraestructuras estrat√©gicas, es esencial. Y es esencial para nuestra seguridad colectiva y nuestra capacidad de actuar. Vivimos en un mundo de interoperabilidad, con equipos cada vez m√°s digitales. Gastar lo que estamos gastando para tener un equipo perfecto y entregar la infraestructura de conexi√≥n, entre nuestro equipo y nuestros pa√≠ses, a otros, sin ninguna garant√≠a, seguir√≠a siendo extra√Īamente ingenuo. Disculpen sin no deseo participar.

Tablero de Go

A continuación reproducimos dos artículos en los que la comunidad científica alertan sobre la imposibilidad de comprender cómo aprenden los sistemas de inteligencia artificial, y por lo tanto, las limitaciones para replicar resultados positivos.

Investigadores de Inteligencia artificial afirman que el aprendizaje autom√°tico es alquimia

Matthew Hutson, Revista Science- 3 de mayo de 2018

Ali Rahimi, uno de los investigadores en inteligencia artificial de Google lanz√≥ un directo a la comunidad cient√≠fica el pasado diciembre y recibi√≥ una ovaci√≥n de 40 segundos por ello. Hablando en una conferencia sobre IA, Rahimi denunci√≥ que los algoritmos de aprendizaje autom√°tico, con los que las computadoras aprenden a trav√©s del ensayo y el error, se han convertido en una forma de ¬ęalquimia¬Ľ. Los investigadores, dijo, no saben por qu√© algunos algoritmos funcionan y otros no, ni tienen criterios rigurosos para elegir una arquitectura de IA en lugar de otra. Ahora, en un documento presentado el 30 de abril en la Conferencia Internacional sobre Representaciones del Aprendizaje en Vancouver, Rahimi y sus colaboradores documentan ejemplos de lo que consideran el problema de la alquimia y ofrecen recetas para reforzar el rigor de la IA.

¬ęHay angustia en el sector¬Ľ, dice Rahimi. ¬ęMuchos de nosotros sentimos que estamos operando con tecnolog√≠a alien√≠gena¬Ľ.

El problema es distinto del de la reproducibilidad del IA, en el que los investigadores no pueden replicar los resultados de los dem√°s debido a la inconsistencia de las pr√°cticas experimentales y de publicaci√≥n. Tambi√©n difiere del problema de la ¬ęcaja negra¬Ľ o ¬ęinterpretabilidad¬Ľ en el aprendizaje autom√°tico. El problema es: la dificultad de explicar c√≥mo ha llegado a sus conclusiones una determinada IA. Como dice Rahimi, ¬ęquiero diferenciar entre un sistema de aprendizaje autom√°tico que es una caja negra y un campo entero que se ha convertido en una caja negra¬Ľ.

Sin un conocimiento profundo de las herramientas b√°sicas necesarias para construir y entrenar nuevos algoritmos, dice, los investigadores que crean IAs recurren a los rumores, como los alquimistas medievales. ¬ęLa gente gravita en torno a las pr√°cticas de culto cargo¬Ľ, bas√°ndose en ¬ęel folclore y los hechizos m√°gicos¬Ľ, a√Īade Fran√ßois Chollet, un inform√°tico de Google en Mountain View. Por ejemplo, dice, adoptan m√©todos conductistas de entrenamiento para ajustar los ¬ęritmos de aprendizaje¬Ľ de sus IAs -cu√°nto se corrige un algoritmo despu√©s de cada error- sin entender por qu√© uno es mejor que otro. En otros casos, los investigadores que entrenan sus algoritmos simplemente tropiezan en la oscuridad. Por ejemplo, implementan lo que se denomina ¬ędescenso estoc√°stico por gradiente¬Ľ con el fin de optimizar los par√°metros de un algoritmo para obtener la tasa de fallo m√°s baja posible. Sin embargo, a pesar de los miles de trabajos acad√©micos sobre el tema y de las innumerables maneras de aplicar el m√©todo, el proceso sigue bas√°ndose en el ensayo y el error.

El art√≠culo de Rahimi destaca el esfuerzo desperdiciado y el rendimiento sub√≥ptimo que este problema produce. Por ejemplo, observa que cuando otros investigadores quitaron la mayor parte de los elementos m√°s complejos de un algoritmo de traducci√≥n de idiomas de √ļltima generaci√≥n, en realidad tradujo del ingl√©s al alem√°n o al franc√©s mejor y de manera m√°s eficiente, lo que demuestra que sus creadores no entend√≠an plenamente para qu√© serv√≠an esas partes adicionales. Por el contrario, a veces la parafernalia a√Īadida a un algoritmo es la √ļnica parte buena, dice Ferenc Husz√°r, un investigador de aprendizaje de m√°quinas de Twitter. En algunos casos, dice, el n√ļcleo de un algoritmo es t√©cnicamente defectuoso, lo que implica que sus buenos resultados son ¬ęatribuibles totalmente a otros trucos puestos encima¬Ľ.

Rahimi ofrece varias sugerencias para averiguar qu√© algoritmos funcionan mejor y cu√°ndo. Para empezar, dice, los investigadores deber√≠an realizar ¬ęestudios de ablaci√≥n¬Ľ como los realizados con el algoritmo de traducci√≥n: borrar partes de un algoritmo una por una para ver la funci√≥n de cada componente. Pide un ¬ęan√°lisis por partes¬Ľ, en el que se analice detalladamente el rendimiento de un algoritmo para ver c√≥mo las mejoras en algunas √°reas pueden tener un coste en otras. Y dice que los investigadores deber√≠an probar sus algoritmos con muchas condiciones y ajustes diferentes, y deber√≠an reportar el desempe√Īo de todos ellos.

Ben Recht, un cient√≠fico inform√°tico de la Universidad de California, Berkeley, y coautor de la charla principal de Rahimi sobre la alquimia, dice que la IA necesita imitar a la f√≠sica, donde los investigadores a menudo reducen un problema a un peque√Īo ¬ęproblema de juguete¬Ľ. ¬ęLos f√≠sicos son incre√≠bles en idear experimentos sencillos para conseguir explicar fen√≥menos¬Ľ, dice. Algunos investigadores de IA ya est√°n adoptando ese enfoque, probando algoritmos de reconocimiento de im√°genes en peque√Īos caracteres escritos a mano en blanco y negro antes de abordar grandes fotograf√≠as en color, para comprender mejor la mec√°nica interna de los algoritmos.

Csaba Szepesv√°ri, un cient√≠fico inform√°tico de DeepMind en Londres, dice que el campo tambi√©n necesita reducir su √©nfasis en las pruebas competitivas. En la actualidad, es m√°s probable que se publique un art√≠culo si el algoritmo reportado supera alg√ļn punto de referencia que si el art√≠culo arroja luz sobre el funcionamiento interno del software, dice. As√≠ es como el algoritmo de traducci√≥n de fantas√≠a lleg√≥ a trav√©s de la revisi√≥n por pares. ¬ęEl prop√≥sito de la ciencia es generar conocimiento¬Ľ, dice. ¬ęQuieres producir algo que otras personas puedan utilizar y construir¬Ľ.

No todos est√°n de acuerdo con la cr√≠tica de Rahimi y Recht. A Yann LeCun, cient√≠fico jefe de AI en Facebook, le preocupa que el hecho de apartar demasiado esfuerzo de las t√©cnicas de vanguardia hacia la comprensi√≥n b√°sica podr√≠a frenar la innovaci√≥n y desalentar la adopci√≥n de la IA en el mundo real. ¬ęNo es alquimia, es ingenier√≠a¬Ľ, dice. ¬ęLa ingenier√≠a es un l√≠o¬Ľ.

Recht ve un lugar para la investigaci√≥n met√≥dica y aventurera por igual. ¬ęNecesitamos ambas cosas¬Ľ, dice.

¬ęNecesitamos entender d√≥nde est√°n los puntos de fallo para poder construir sistemas confiables, y tenemos que llevar m√°s all√° los l√≠mites para poder tener sistemas a√ļn m√°s impresionantes en el futuro¬Ľ.

La Inteligencia artificial se enfrenta a una crisis de reproducibilidad

Gregory Barber, Revista Wired – 16 de septiembre de 2019

Hace unos a√Īos, Joelle Pineau, profesora de inform√°tica en McGill, ayudaba a sus estudiantes a dise√Īar un nuevo algoritmo cuando √©stos tropezaron con obst√°culo en apariencia, imposible de salvar. Su laboratorio estudia el aprendizaje de refuerzo, un tipo de inteligencia artificial que se utiliza, entre otras cosas, para ayudar a los personajes virtuales a aprender a moverse en los mundos virtuales. Es un requisito previo para construir robots y coches aut√≥nomos. Los estudiantes de Pineau esperaban mejorar el sistema de otro laboratorio. Pero primero tuvieron que reconstruirlo, y su dise√Īo, por razones desconocidas, no alcanzaba los resultados prometidos. Hasta que los estudiantes probaron algunas ¬ęmanipulaciones creativas¬Ľ que no aparec√≠an en el trabajo del otro laboratorio.

Y he aqu√≠ que el sistema comenz√≥ a funcionar como se anunciaba. El golpe de suerte fue un s√≠ntoma de una tendencia preocupante, seg√ļn Pineau. Las redes neuronales, la t√©cnica que nos han dado los robots Go-mastering y los generadores de texto que crean la poes√≠a cl√°sica china, a menudo se llaman cajas negras debido a los misterios de c√≥mo funcionan. Lograr que se desempe√Īen bien puede ser como un arte, que involucra ajustes sutiles que no se reportan en las publicaciones. Las redes tambi√©n son cada vez m√°s grandes y complejas, con enormes conjuntos de datos y arreglos inform√°ticos masivos que encarecen la posibilidad de r√©plica y el estudio de esos modelos, haciendo su reproducci√≥n imposible, excepto para los laboratorios mejor financiados.

Anna Rogers, investigadora de machine learning de la Universidad de Massachusetts, se pregunta si eso sigue siendo acaso investigación.

¬ęNo est√° claro si est√°s demostrando la superioridad de tu modelo o tu presupuesto¬Ľ.

Pineau est√° tratando de cambiar los est√°ndares. Es la presidenta de reproducibilidad de NeurIPS, un congreso de inteligencia artificial de primer nivel. Bajo su supervisi√≥n, el congreso pide ahora a los investigadores que presenten una ¬ęlista de comprobaci√≥n – o checklist- de la reproducibilidad¬Ľ que incluya elementos que a menudo se omiten en las ponencias, como el n√ļmero de modelos entrenados antes de que se seleccionara ¬ęel mejor¬Ľ, la potencia de c√°lculo utilizada y los enlaces al c√≥digo y a los conjuntos de datos. Es todo un cambio para un campo donde el prestigio se basa en clasificaciones que determinan qu√© sistema es el ¬ęestado del arte¬Ľ para una tarea en particular, y ofrece un gran incentivo para pasar por alto las tribulaciones que llevaron a esos resultados espectaculares.

La idea, dice Pineau, es animar a los investigadores a ofrecer una hoja de ruta para que otros repliquen su trabajo. Una cosa es maravillarse de la elocuencia de un nuevo generador de texto o de la agilidad sobrehumana de un robot de videojuegos. Pero incluso los investigadores más sofisticados tienen una idea muy vaga de cómo funcionan. Replicar esos modelos de IA es importante para identificar nuevas vías de investigación, y además supone una manera de investigar algoritmos a medida que aumentan, y en algunos casos suplantan, la toma de decisiones humanas -desde quién ingresa en prisión y por cuánto tiempo hasta quién recibe una hipoteca.

No son los √ļnicos que est√°n denunciando el problema. Los investigadores de Google han propuesto las llamadas ¬ętarjetas modelo¬Ľ para detallar c√≥mo se han sido testados los sistemas de machine learning, incluyendo resultados que se√Īalan posibles sesgos. Otros han intentado mostrar lo fr√°gil que es el t√©rmino ¬ęestado del arte¬Ľ cuando los sistemas, optimizados para los conjuntos de datos utilizados en las clasificaciones, se aplican en otros contextos. La semana pasada, investigadores del Instituto Allen de Inteligencia Artificial, o AI2, publicaron un art√≠culo que pretende ampliar la lista de control de reproducibilidad de Pineau a otras partes del proceso experimental. Lo llaman ¬ęShow your work¬Ľ.

¬ęEmpezar donde alguien lo dej√≥ es un dolor porque nunca describimos completamente el montaje experimental¬Ľ, dice Jesse Dodge, un investigador de AI2 que fue coautor de la investigaci√≥n. ¬ęOtros investigadores no podr√°n reproducir lo que hicimos si no contamos lo que hicimos¬Ľ. Lo raro, a√Īade, es que un equipo reporte detalles b√°sicos sobre c√≥mo fue construido un determinado sistema. Un estudio sobre los documentos de aprendizaje de refuerzo realizada el a√Īo pasado concluy√≥ que s√≥lo la mitad de ellos inclu√≠a c√≥digo.

A veces, falta informaci√≥n b√°sica porque es propietaria, un problema especialmente recurrente en los laboratorios de empresas. Pero es m√°s a menudo una se√Īal de la incapacidad del campo para mantenerse al d√≠a con los cambios de m√©todos, dice Dodge. Hace una d√©cada, era m√°s sencillo ver lo que un investigador cambiaba para mejorar sus resultados. Las redes neuronales, en comparaci√≥n, son quisquillosas; obtener los mejores resultados a menudo implica afinar miles de peque√Īas palancas, lo que Dodge llama una forma de ¬ęmagia negra¬Ľ. Elegir el mejor modelo a menudo requiere un gran n√ļmero de experimentos. La magia se vuelve cara muy r√°pidamente.

Incluso los grandes laboratorios corporativos, que disponen de los recursos para dise√Īar los sistemas m√°s grandes y complejos, se han dado cuenta del problema. Cuando Facebook intent√≥ replicar AlphaGo, el sistema desarrollado por Alphabet’s DeepMind para dominar el antiguo juego del Go, los investigadores parec√≠an agotados por la tarea. Los enormes requerimientos computacionales -millones de experimentos ejecutados en miles de dispositivos durante d√≠as- combinados con c√≥digo no disponible, hicieron que el sistema fuera ¬ęmuy dif√≠cil, si no imposible, de reproducir, estudiar, mejorar y ampliar¬Ľ, escribieron en un art√≠culo publicado en mayo. (El equipo de Facebook finalmente tuvo √©xito.)

La investigaci√≥n AI2 propone una soluci√≥n a este problema. La idea es proporcionar m√°s datos sobre los experimentos que se llevan a cabo. Cualquiera puede reportar el mejor modelo que obtuvo despu√©s de, digamos, 100 experimentos -el resultado que podr√≠a ser declarado ¬ęestado del arte¬Ľ- pero tambi√©n deber√≠a reportar el rango de rendimiento esperado si s√≥lo tuviera el presupuesto para probarlo 10 veces, o s√≥lo una vez.

El punto de reproducibilidad, seg√ļn Dodge, no es replicar los resultados exactamente. Eso ser√≠a casi imposible dada la aleatoriedad natural de las redes neuronales y las variaciones en el hardware y el c√≥digo. En su lugar, la idea es ofrecer una hoja de ruta para llegar a las mismas conclusiones que la investigaci√≥n original, especialmente cuando esto implica decidir qu√© sistema de aprendizaje por m√°quina es el mejor para una tarea en particular.

Eso podr√≠a ayudar a que la investigaci√≥n sea m√°s eficiente, explica Dodge. Cuando su equipo reconstruy√≥ algunos sistemas populares de aprendizaje de m√°quinas, descubrieron que para algunos presupuestos, los m√©todos m√°s anticuados ten√≠an m√°s sentido que los que estaban a la √ļltima. La idea es ayudar a los laboratorios acad√©micos m√°s peque√Īos esbozando c√≥mo obtener el mejor beneficio dadas sus limitaciones financieras. Un beneficio secundario, a√Īade, es que el enfoque podr√≠a fomentar una investigaci√≥n m√°s ecol√≥gica, dado que la formaci√≥n de modelos de gran escala puede requerir tanta energ√≠a como las emisiones de un coche durante su vida √ļtil.

Pineau asegura sentirse alentada al ver a otros tratando de ¬ęabrir modelos¬Ľ, pero no puede asegurar que la mayor√≠a de laboratorios se beneficien del ahorro de costos. Muchos investigadores seguir√°n bajo la presi√≥n de utilizar cuanta mayor capacidad de computaci√≥n sea posible. Y por otro lado est√°n las dificultades para informar sobre los resultados de la investigaci√≥n. Es posible que el enfoque de AI2 de ¬ęshow your work¬Ľ pueda enmascarar complejidades; estas variaciones en los m√©todos son en parte la raz√≥n por la cual la lista de control de reproducibilidad de NeurIPS es voluntaria. Un obst√°culo, especialmente para los laboratorios corporativos, es el c√≥digo propietario y la confidencialidad de los datos. Si, por ejemplo, Facebook est√° investigando con sus fotos de Instagram, hay un problema para compartir esos datos p√ļblicamente. La investigaci√≥n cl√≠nica con datos de salud es otro punto conflictivo.

En otras palabras, es difícil desarrollar estándares de reproducibilidad que funcionen sin limitar a los investigadores, especialmente a medida que los métodos evolucionan rápidamente.

Partida entre DeepBlue y Kasparov

En 1997, Deep Blue, un superordenador de IBM derrotó al campeón mundial de ajedrez Gary Kasparov por cuatro juegos a dos en una serie de seis juegos. La victoria de Deep Blue cambió el ajedrez, pero no en la forma en que la gente esperaba y se predijo.

La metodología soviética bajo la que se había formado Kasparov era realmente maquinal, tenía la misma lógica que luego utilizó Deep Blue.

El ajedrez revolucionario napole√≥nico hab√≠a exaltado al pe√≥n y el rom√°ntico la belleza de la sucesi√≥n de movimientos, la era de Capablanca hab√≠a sido pragm√°tica como el positivismo filos√≥fico de la √©poca y el ultra√≠smo hab√≠a llevado al ajedrez el atrevimiento geom√©trico bolchevique, descubriendo l√≠neas de fuerza y proyecciones insospechadas en la lucha por el poder. El ajedrez stalinista fue otra cosa completamente distinta. No pretend√≠a cambiar la l√≥gica del juego, ni siquiera ser coherente, ni bello. Solo pretend√≠a ganar. Para ello inaugur√≥ una extra√Īa forma de aprender, que exaltaba tanto la sistem√°tica como se complac√≠a en la falta de imaginaci√≥n.

Durante la guerra fría, la asociación soviética de ajedrez era un verdadero bunker. Su arma secreta: el registro en fichas de cartón de miles y miles de partidas que los elegidos para la alta competición podían estudiar y utilizar.

Se entrenaba a los jugadores para memorizar gigantescos árboles de decisión y a partir de ahí, aprender a reconocer heurísticamente por dónde continuar la partida con más probabilidades de victoria, por contraintuitivo que fuese y aunque el tiempo y la capacidad no les dieran para calcular la sucesión de jugadas.

Calcular los √°rboles de decisi√≥n m√°s completos posibles a base de fuerza bruta, es decir, de pura capacidad de c√°lculo y recursos, fue el estir√≥n de la IA de la √©poca de Deepblue. A√Īadirle a eso heur√≠stica (mediante Montecarlo) fue el camino de la siguiente generaci√≥n, la primera que intent√≥ asaltar el Go/Baduk/Weiqi… sin √©xito.

Pero no adelantemos. Lo interesante de 1997 es que DeepBlue y Kasparov ten√≠an ya una misma l√≥gica de juego y aprendizaje. Es m√°s en 1997 se vend√≠an ya CDs con todas las partidas del archivo secreto del bunker ruso. Fue ese CD el que hab√≠a cambiado el juego. No una IA que todav√≠a tardar√≠a unos a√Īos en resultar accesible.

De hecho la democratización de las IAs de ajedrez, que fue el verdadero cambio, solo radicalizó la mirada stalinista sobre el juego. Emocionalidad fuera. Defensas blindadas. Pragmatismo para ocupar el centro del tablero. Paciencia inmisericorde hasta encontrar el error en el contrario. Si el ajedrez ruso de la guerra fría fabricaba blindados, el ajedrez influido por IA los hacía mejores. Nadie parece echar de menos a la caballería ligera.

Hoy los chicos memorizan y reviven jugadas, y sus maestros repasan sus partidas con software basado en IA. Nuevas jugadas y soluciones creadas por m√°quinas, em>inhumanas pero efectivas, son la se√Īal de buen entrenamiento. No es que ya no haya revistas y libros. De hecho ahora son, posiblemente, mejores que nunca. Pero ya no son la base de la formaci√≥n ajedrec√≠stica. Son entretenimiento, reflexi√≥n. Literatura comunitaria.

Un detalle importante. Los libros y las fichas de papel han desaparecido. Los entrenadores no. ¬ŅPor qu√©? Porque el software te puede decir cu√°ndo te equivocaste, qu√© camino tendr√≠as que haber seguido a partir de una jugada determinada. Pero eso no te ayuda a pensar mejor en t√©rminos estrat√©gicos, a crear esas reglas difusas que llamamos estilo de juego. El entrenador s√≠. El entrenador es √©se que sabe los porqu√©s, que te da reglas de pensamiento, filosof√≠a de juego, el que te ense√Īa que hay algo que demostrar que solo puede demostrarse ganando. El que te ayuda a darle trascendencia al juego. Algunos de los grandes maestros de Go -y no pocos escritores que quedaron capturados por el juego, de Leibniz a Thomas Mann pasando por Kabawata- le llamaban encontrar la verdad o descubrir el lenguaje de las piedras. La IA no sabe de eso. La IA solo sabe ganar.

Tal vez por eso el ajedrez ha generado una variante mixta: humanos y m√°quinas juegan formando equipo. Fue el propio Kasparov qui√©n m√°s hizo por tornarlo popular. El ¬ęajedrez centauro¬Ľ en un deporte extremo que mide los nervios de los contrincantes: ¬Ņcu√°ndo he de dejar de seguir lo que la m√°quina sugiere? ¬Ņcu√°ndo tengo algo realmente diferente delante de mi que la m√°quina no sabe ver? ¬Ņqu√© me est√° diciendo el humano al otro lado con esa jugada? ¬Ņo es su m√°quina que est√° llev√°ndole a un lugar que no se ver? Conforme la IA es mejor, mejores tienen que ser sus jinetes… aunque solo sea para dejarles hacer.

Automatizacion del trabajo

El desarrollo de las tecnologías digitales hacia sistemas de inteligencia artificial y la introducción de robots de nueva generación, ha despertado inquietud y dado paso a una serie de preguntas sobre las formas que en un futuro próximo adoptará el trabajo, la relación trabajo-hombre como definitoria de identidades y la responsabilidad de todos los estamentos sociales, incluidos los propios trabajadores para prepararse.

Tanto la Organizaci√≥n del Trabajo (OIT), como el gobierno de Francia han coincidido al remarcar que gobierno, empresa y sindicatos tienen un papel fundamental en el acompa√Īamiento y asesoramiento de las personas. Distinguiendo entre estrategias a implementar para trabajadores en activo y para futuros empleadores, en ambos casos el √©nfasis recae en la educaci√≥n. Sugieren modificaciones no s√≥lo curriculares sino de desarrollo de capacidades (primando las habilidades sociales) para los j√≥venes, y formaciones y asesoramientos espec√≠ficos para trabajadores.

El Consejo de Orientación para el Empleo de Francia, COE, sugiere así la creación de una nueva figura, el asesor de carreras profesionales, para, de manera homogénea y personalizada facilitar la adaptación a nuevos puestos de trabajo.

¬ŅQu√© va a cambiar?

  1. Profesiones: Seg√ļn el informe del COE, una treintena de oficios son especialmente susceptibles de cambio: el del t√©cnico de mantenimiento es el primero, seguido de conductores de veh√≠culos, asistentes domiciliarios, cuidadores, vendedores, jefes de almac√©n, personal de hosteler√≠a…. Los oficios manuales dominan, pero no son los √ļnicos afectados. Profesores, oficiales administrativos, contables y financieros est√°n incluidos en la lista, al igual que las secretarias.
  2. Competencias: Competencias técnicas, sociales y tradicionales.
  3. Tiempo: La previsión de jornadas laborales más cortas liberará tiempo de ocio para las personas.

Efectos

El Consejo de Política de Empleo también subraya sus efectos ambivalentes o incluso opuestos. Dependiendo del uso de las nuevas tecnologías por parte de la empresa, pueden enriquecer el trabajo, empobrecerlo, aumentar la autonomía o, por el contrario, reforzar las limitaciones de control y ritmo.

Por √ļltimo, apuntan a la capacidad de influir en la diversificar los horarios y los lugares de trabajo y, tambi√©n a este respecto, pueden resultar o no ser beneficiosos para el bienestar en el trabajo. Algunos estudios sobre los efectos del teletrabajo apuntan que al eliminar las restricciones espaciales y temporales, las herramientas m√≥viles pueden generar tecno-estr√©s, dependencia, trastornos del sue√Īo y agotamiento en los trabajadores.

En 2017, el sistema de inteligencia artificial IBM Watson Explorer sustituyó a 34 empleados (25% de la plantilla) de una empresa japonesa que trabaja en el sector de los seguros.

En Francia, BPCE Assurances ha adoptado un robot, creado por la start-up francesa Owi, capaz de leer e-mails y analizar el campo sem√°ntico. Este √ļltimo asigna un nivel de prioridad y es responsable de formular una respuesta, enviada bajo el control de un agente humano al asegurado. El Cr√©dit Mutuel-CIC utiliza tambi√©n la IA IBM Watson como un asistente virtual de ahorro y seguro, que ofrece respuestas inmediatas a las preguntas recurrentes de los clientes. Soci√©t√© G√©n√©rale ha informado de su deseo de automatizar el 80% de los procesos internos.

Estos avances no son en absoluto insignificantes porque, por primera vez, la tecnología está sustituyendo a un cuello blanco, es decir, a un empleado cualificado.

La Federación Internacional de Robótica, IFR por sus siglas en inglés, tiene más de 12 millones de robots en todo el mundo. Una gran mayoría opera en el sector industrial, especialmente en el sector de la automoción. Contra todo pronóstico, las tasas de desempleo en los países más robóticos están entre las más bajas o más reguladas (Alemania ha logrado una disminución del 4% entre 2013 y 2014). Pero la disminución del desempleo no significa una disminución de la precariedad.

En 2017, en la apertura de una reunión sobre el desarrollo sostenible en una era de rápidos cambios tecnológicos, la Presidenta del Consejo Económico y Social de las Naciones Unidas (ECOSOC), Maria Chatardova, aseguró que,

debemos aprovechar estas nuevas tecnologías sin dejar a nadie fuera en el contexto del desarrollo sostenible, pero que no conocemos el impacto global a largo plazo de la inteligencia artificial.

Seg√ļn Erik Brynjolfsson, Director de la Iniciativa de Econom√≠a Digital del Instituto Tecnol√≥gico de Massachusetts en Cambridge,

se perderán millones de puestos de trabajo, se crearán y necesitarán millones de nuevos puestos de trabajo y se transformarán muchos más. Hay una gran necesidad, una gran oportunidad para estudiar los cambios. Los investigadores están empezando a hacerlo, y la evidencia emergente se resiste a los escenarios simples. Es probable que los avances en las tecnologías digitales cambien el trabajo de forma compleja y matizada, creando tanto oportunidades como riesgos para los trabajadores.

En las próximas décadas, estas tecnologías transformarán casi todos los sectores de actividad: agricultura, medicina, manufactura, ventas, finanzas y transporte, redefiniendo la naturaleza del trabajo.

En 2013, los investigadores del programa Oxford Martin sobre tecnología y empleo destacaron que el trabajo en grupo o la interacción cara a cara sigue siendo difícil de automatizar. Esto sugiere que incluso si todo puede ser automatizado, algunas características humanas permanecen no duplicables.

Recomendaciones

El COE aboga por la apertura de un nuevo di√°logo social que acompa√Īe la difusi√≥n de nuevas tecnolog√≠as en empresas y entornos laborales.

La OIT recoge en su informe Trabajar para un futuro m√°s prometedor la necesidad de invertir en las capacidades de las personas, en las instituciones del trabajo y de invertir en trabajo decente y sostenible.

  1. El derecho a un aprendizaje a lo largo de la vida que permita a las personas adquirir competencias, perfeccionarlas y reciclarse profesionalmente.
  2. Incrementar las inversiones en las instituciones, las pol√≠ticas y las estrategias que presten apoyo a las personas a lo largo de las transiciones que entra√Īa el futuro del trabajo. Los j√≥venes necesitar√°n ayuda para navegar por las cada vez mayores dificultades que entra√Īa la transici√≥n de la escuela al trabajo. Habr√° que aumentar las posibilidades de los trabajadores de edad avanzada para que puedan seguir siendo econ√≥micamente activos mientras lo deseen.
  3. Establecer una Garantía Laboral Universal.
  4. Ampliar la soberanía sobre el tiempo
  5. Garantizar la representación colectiva de los trabajadores y los empleadores.
  6. Encauzar y administrar la tecnolog√≠a en favor del trabajo decente. Esto significa que los trabajadores y directivos han de dise√Īar la concepci√≥n del puesto de trabajo. Significa tambi√©n que se adopte un enfoque de la inteligencia artificial bajo control humano que garantice que las decisiones definitivas que afectan al trabajo sean tomadas por personas. Deber√≠a establecerse un sistema de gobernanza internacional de las plataformas digitales del trabajo que exija a estas plataformas (y a sus clientes) que respeten determinados derechos y protecciones m√≠nimas. Los avances tecnol√≥gicos requieren tambi√©n de la reglamentaci√≥n del uso de datos y de la responsabilidad sobre el control de los algoritmos en el mundo del trabajo.

Las preocupaciones del la OIT ante el impacto de los avances tecnológicos en el mundo del trabajo son:

  • La p√©rdida de puestos de trabajo que sin duda afectar√° de forma m√°s grave a las personas que est√©n peor preparadas.
  • Ensanchamiento de las brechas digitales y de g√©nero.
  • Reaparici√≥n y extensi√≥n de formas laborales del siglo XIX unidas a plataformas laborales digitales de microtareas y trabajo mediante aplicaciones; los jornaleros digitales.

Estimaciones de las futuras transformaciones del mercado de trabajo generadas por la tecnología:

  • Frey y Osborne, 2015. El 47 por ciento de los trabajadores de los Estados Unidos corren el riesgo de verse sustituidos en sus puestos de trabajo por la automatizaci√≥n.
  • Chang y Phu, 2016 ASEAN-5: el 56 por ciento de los puestos de trabajo corren riesgo de automatizarse en los pr√≥ximos veinte a√Īos.
  • OCDE, 2016. Un promedio del 9 por ciento de los puestos de trabajo de los pa√≠ses de la OCDE corre un alto riesgo de automatizarse. Una proporci√≥n considerable de puestos de trabajo (entre el 50 por ciento y el 70 por ciento) no ser√° sustituido por completo, pero se automatizar√° una gran parte de las tareas, transformando la forma en que se ejercen estos trabajos.
  • Banco Mundial, 2016. Dos tercios de los puestos de trabajo de los pa√≠ses en desarrollo podr√≠an ser automatizados.
  • Foro Econ√≥mico Mundial, 2018. Casi el 50 por ciento de las empresas esperan que la automatizaci√≥n lleve a una reducci√≥n de su fuerza de trabajo a tiempo completo en 2022.

El COE, Consejo de Orientación para el Empleo, llevó a cabo en 2017 un estudio para identificar mejor las cualificaciones que pueden ser objeto de una demanda frecuente en una economía cada vez más digital y automatizada y evaluar el estado actual de las cualificaciones de la mano de obra francesa a la luz de estas nuevas necesidades.

El Consejo analizó la literatura económica y movilizó las diversas encuestas disponibles. De sus análisis se desprende que en una economía digital deberían movilizarse mucho más tres grupos de cualificaciones:

  • Cualificaciones de expertos en nuevas tecnolog√≠as, en el propio sector tecnol√≥gico, pero tambi√©n en todos los sectores econ√≥micos que utilizan estas tecnolog√≠as;
  • Nuevas cualificaciones t√©cnicas en relaci√≥n con la recomposici√≥n prevista de aproximadamente el 50 % de los puestos de trabajo; y,
  • Para todos los trabajadores, un aumento de la necesidad de las denominadas competencias transversales, que abarcan las competencias digitales generales, las competencias cognitivas (alfabetizaci√≥n, aritm√©tica) y las competencias sociales y situacionales.

El COE prevé en Francia una creciente escasez de expertos en nuevas tecnologías, estimada en 80.000 puestos de trabajo para 2020 sólo para las tecnologías de la información y la comunicación. Y una necesidad muy importante de nuevas competencias técnicas.

Nuevas competencias t√©cnicas no digitales, que a√Īaden o sustituyen a las competencias cl√°sicas de cada oficio. Estas nuevas competencias t√©cnicas son muy diversas: las tecnolog√≠as tienen consecuencias muy diferentes porque pueden, en algunos casos, reducir la demanda de intervenci√≥n humana, en otros, apoyar la actividad y permitir el desarrollo de tareas con mayor valor a√Īadido, o incluso una diversificaci√≥n de la actividad. En todos los casos, cambian las tareas realmente realizadas, ya sea eliminando o reduciendo algunas de ellas, o a√Īadiendo nuevas -a menudo m√°s complejas.

Por ejemplo, en las ocupaciones agrícolas, la automatización de los cultivos en invernaderos requiere de conocimientos agrónomos más avanzados por parte de los empleados. En el sector del comercio, se espera que los vendedores proporcionen un nuevo nivel de experiencia a unos consumidores cada vez más informados y con capacidad de actuación.

Por lo tanto, seg√ļn el COE, una proporci√≥n significativa de la mano de obra tendr√° que adquirir o mejorar r√°pidamente sus competencias digitales generales, cognitivas, sociales y situacionales.

Inteligencia Artificial

El desarrollo de la inteligencia artificial y su incorporación a cada vez más espacios de la vida social ha dado lugar a profundas discusiones en el seno de instituciones de gobierno y espacios de investigación científica. Recogemos a continuación las propuestas de tres organismos que nos permiten entrever hacia dónde se orientarán las futuras regulaciones.

1. Comisión Europea: Directrices éticas para el desarrollo de una IA confiable

En sus Comunicaciones de 25 de abril de 2018 y 7 de diciembre de 2018, la Comisi√≥n Europea expuso su visi√≥n de la inteligencia artificial (IA), que apoya ¬ęuna IA √©tica, segura y vanguardista hecha en Europa¬Ľ. La visi√≥n de la Comisi√≥n se basa en tres pilares: (i) el aumento de las inversiones p√ļblicas y privadas en AI para impulsar su asimilaci√≥n; (ii) la preparaci√≥n para los cambios socioecon√≥micos; y (iii) la garant√≠a de un marco √©tico y jur√≠dico adecuado para reforzar los valores europeos.

La confiabilidad de la IA es un requisito previo para que las personas y las sociedades desarrollen, desplieguen y utilicen sistemas de IA. Sin que los sistemas de IA -y los seres humanos que los respaldan- sean demostrablemente dignos de confianza, se pueden producir consecuencias no deseadas y se puede obstaculizar su asimilación, impidiendo la realización de los enormes beneficios sociales y económicos que pueden aportar.

Una IA digna de confianza tiene tres componentes, que deben cumplirse a lo largo de todo el ciclo de vida del sistema:

  1. Debe ser legal, cumpliendo con todas las leyes y regulaciones aplicables;
  2. Debe ser ética, asegurando la adhesión a los principios y valores éticos;
  3. Debe ser robusta, tanto desde el punto de vista t√©cnico como social, ya que, incluso con buenas intenciones, los sistemas de IA pueden causar da√Īos no intencionales.

Idealmente, los tres trabajan en armonía y se superponen en su operación. En la práctica, sin embargo, puede haber tensiones entre estos elementos (por ejemplo, a veces el alcance y el contenido de la legislación vigente pueden no estar en consonancia con las normas éticas). Es nuestra responsabilidad individual y colectiva como sociedad trabajar para asegurar que los tres componentes ayuden a asegurar una IA digna de confianza.

2. OCDE: Principios éticos sobre Inteligencia Artificial

  1. La IA debe beneficiar a las personas y al planeta impulsando el crecimiento inclusivo, el desarrollo sostenible y el bienestar.
  2. Los sistemas de IA deben dise√Īarse de manera que respeten el Estado de derecho, los derechos humanos, los valores democr√°ticos y la diversidad, y deben incluir las salvaguardias adecuadas -por ejemplo, permitiendo la intervenci√≥n humana cuando sea necesario- para garantizar una sociedad justa y equitativa.
  3. Debe haber transparencia y divulgación responsable en torno a los sistemas de IA para asegurar que las personas entiendan los resultados basados en la IA y puedan cuestionarlos.
  4. Los sistemas de IA deben funcionar de forma robusta, segura y protegida a lo largo de su ciclo de vida y los riesgos potenciales deben ser evaluados y gestionados continuamente.
  5. Las organizaciones y los individuos que desarrollan, despliegan u operan sistemas de IA deben ser responsables de su correcto funcionamiento de acuerdo con los principios mencionados anteriormente.

Principios éticos de la Academia de Pequín de Inteligencia Artificial (BAAI)

El desarrollo de la Inteligencia Artificial (IA) se refiere al futuro de toda la sociedad, de toda la humanidad y del medio ambiente. Los principios que se exponen a continuación se proponen como una iniciativa para la investigación, el desarrollo, el uso, la gobernanza y la planificación a largo plazo de la IA, que exige su desarrollo saludable para apoyar la construcción de una comunidad humana con un futuro compartido, y la realización de una IA beneficiosa para la humanidad y la naturaleza.

Categorías

  1. Investigación y Desarrollo
    1. Haz el bien
    2. Para la Humanidad
    3. Sé responsable
    4. Control de riesgos
    5. Sé ético
    6. Sé diverso e inclusivo
    7. Abre y comparte
  2. Usos
    1. Usar sabia y apropiadamente
    2. Consentimiento informado
    3. Educación y formación
  3. Gobernanza
    1. Optimización del empleo
    2. Armonía y cooperación
    3. Adaptación y moderación
    4. Subdivisión e implementación
    5. Planificación a largo plazo

Derechos de Ciudadanía Digital