#observatorio

¿Qué es un SDA?

Los Sistemas de Inteligencia Artificial (SIA) abarcan una amplia gama de ideas controvertidas. En noviembre de 2018, el Grupo de Expertos en IA de la OCDE (AIGO) estableció un subgrupo para desarrollar una descripción de un sistema de IA, definiéndolo como un sistema basado en máquinas que es capaz de influir en el entorno produciendo un resultado (predicciones, recomendaciones o decisiones) para un conjunto determinado de objetivos. Utiliza datos e insumos basados en máquinas y/o humanos para a) percibir entornos reales y/o virtuales; b) abstraer estas percepciones en modelos a través del análisis de manera automatizada, o manualmente; y c) usar la inferencia del modelo para formular opciones para los resultados.

Por su parte, los algoritmos son: “Un conjunto de reglas computacionales que equivale a una secuencia de operaciones para tomar una entrada y convertirla en una salida”. Es decir, un conjunto de instrucciones, reglas o una serie metódica de pasos que puede utilizarse para hacer cálculos, resolver problemas y tomar decisiones.

Los Sistemas de Decisiones Automatizadas (SDA automated decision system o automated decision making, ADMS o ADM por sus siglas en inglés) son implementados para desarrollar un rol particular o la totalidad del proceso en la toma de decisiones. 

Un SDA es un sistema controlado algorítmicamente, en el que un proceso de decisión se delega parcial o totalmente a otro, el que a su vez toma o propone una decisión automáticamente. La delegación, no de la decisión en sí, sino de la ejecución, a un sistema basado en datos y controlado algorítmicamente, es en lo que debemos poner el foco de atención.  

Los resultados de los algoritmos más potentes de la IA, los de “deep learning”, en efecto, son difíciles de entender, ya que el proceso que desarrolla es opaco. Se los conoce como “caja negra”. Sin embargo, hay muchos algoritmos de aprendizaje automático que son perfectamente inteligibles (cajas blancas) para saber cómo se ha llegado a una determinada conclusión. Por ejemplo, los llamados “árboles de decisión”, son perfectamente comprensibles. El algoritmo puede demostrar todas las variables que han influido en su decisión y con qué importancia.

Aunque, hasta la fecha, la mayoría de los expertos prefieren usar “deep learning” por su prestaciones superiores, cada vez más son las empresas que consideran usar un algoritmo interpretable “caja blanca” si su prestación es suficientemente buena para resolver el problema de negocio, aunque sea un rendimiento un poco peor que un algoritmo de “caja negra”. La razón es la explicabilidad, que, en ciertas aplicaciones, debe tener un peso importante, como en el sector médico. De todas formas, hoy en día hay mucha investigación trabajando en mejorar la explicabilidad de los algoritmos de “deep learning”.

La creciente adopción de herramientas de automatización en el sector público, los responsables políticos, funcionarios y administradores deben comprender cómo afecta la automatización a los contextos de toma de decisiones. Aunque la normativa suele promover la supervisión humana como una medida de protección, los expertos advierten sobre la falta de sensación de seguridad que promete dicha supervisión, puesto que el riesgo que suponen las SDA va más allá del criterio del personal de asistencia.

Los Sistemas pueden estar diseñados para recopilar datos de las personas; evaluar el comportamiento humano, identificar rasgos biométricos; predecir el comportamiento humano; perfilar a las personas; simular el habla humana; reconocimiento de imágenes; reconocimientos de sonidos; automatización de tareas rutinarias, entre otros.

Proyecto de Resolución

Presentamos una propuesta de resolución ante la Agencia de Acceso a la Información Pública que establece un estándar para que el sector público nacional rinda cuenta sobre los SDA en uso. El proyecto responde a la necesidad de promover la rendición de cuentas y la claridad en el uso de la inteligencia artificial y los algoritmos en la administración gubernamental. 

Al establecer un estándar de este tipo, estamos enfocados en garantizar que los ciudadanos y las partes interesadas tengan acceso a información completa sobre la aplicación de estas tecnologías en el ámbito público, lo que contribuirá a un gobierno más transparente y ético en beneficio de la sociedad en su conjunto.

Podés consultar el proyecto ingresando en el enlace.

Campaña

Recientemente, llevamos a cabo una campaña de comunicación en la vía pública con el objetivo de promover la participación ciudadana y fomentar la transparencia en el uso de sistemas de decisión automatizada en el sector público. 

A través de anuncios y mensajes visibles en lugares estratégicos de la Ciudad Autónoma de Buenos Aires, alentamos a la ciudadanía a informar si tienen conocimiento de algún sistema de este tipo en funcionamiento. 

Creemos firmemente en la importancia de involucrar a la comunidad en la identificación de estos sistemas, ya que su participación activa es fundamental para garantizar un gobierno abierto y responsable. 

Esta iniciativa refleja nuestro compromiso con la rendición de cuentas y la colaboración entre nuestra organización y los ciudadanos para construir un futuro más transparente y equitativo en el ámbito público.

SDA identificados

El observatorio, como plataforma de investigación y monitoreo, se ha convertido en un recurso esencial para comprender la situación actual de los SDA en nuestro país, así como para evaluar su impacto en la vida de los ciudadanos y el funcionamiento de las instituciones. 

Gracias al primer relevamiento efectuado hemos podido llevar a cabo un análisis detallado de cada uno de los SDA identificados, examinando aspectos críticos como las fuentes de datos, las posibles implicaciones éticas y sociales, y las salvaguardias implementadas para garantizar la equidad y la transparencia en las decisiones automatizadas.

Continuaremos monitoreando a los SDA para garantizar que este relevamiento sea el punto de partida para iniciativas que promuevan la responsabilidad y la ética en la toma de decisiones automatizadas, contribuyendo así a un futuro donde la tecnología sirva como una herramienta para el bienestar y la igualdad de oportunidades para todos los ciudadanos.

Informe OSAP 2023

El informe es una iniciativa de Algorithmic Avengers y tiene por objeto presentar los resultados de la investigación realizada en el marco del relevamiento de los Sistemas de Decisiones Automatizadas (SDA) en uso por el Estado Nacional Argentino.

En el primer capítulo, se hace un breve recorrido por las definiciones de los SDA y de IA, como así también se pone de resalto la importancia que ha tomada la transparencia sobre dichos sistemas y ponen de resalto los principios y normas que existen en el ámbito nacional relacionados al uso, mejores prácticas, principios democráticos y de respeto a los Derechos Humanos que deben seguir los que operen en el ámbito público con de dichos sistemas.

En el segundo capítulo se evidencia la necesidad de contar con un observatorio de control ciudadano que posibilite supervisar el manejo de los SDA públicos y se hace una reseña sobre los principales observatorios que actualmente se encuentran en funcionamiento a nivel internacional.

A su vez, en el capítulo se detalla el estándar y las herramientas desarrolladas en el marco del Observatorio para llevar el seguimiento de los SDA instrumentados en el sector público.

Por su parte, el tercer capítulo desagrega la metodología con la que se trabajó para realizar el relevamiento de los SDA utilizados por el Estado Nacional, como así también los principales resultados arrojados del análisis de la información remitida por las dependencias de gobierno.

Además, en el capítulo se muestran las limitaciones detectadas en el marco del relevamiento con las que nos encontramos al momento de analizar la información y que se relacionan básicamente con la demora en contestar las solicitudes y la negativa de proporcionar la información requerida.

Por último, se enumeran una serie de hallazgos y conclusiones producto del análisis con el fin de generar las futuras líneas de trabajo.

Ver informe

Observatorio

El Observatorio Social de Algoritmos Públicos (OSAP) tiene por objeto dar a conocer los Sistemas de Decisiones Automatizadas (SDA) en uso en el Estado Nacional. 

Al poner en evidencia la presencia y el funcionamiento de estos sistemas, el Observatorio busca fomentar la rendición de cuentas, promover la transparencia y garantizar que las decisiones automatizadas adoptadas por las diferentes oficinas estatales sean coherentes con principios éticos y normativas legales.

¿Por qué monitoreamos los SDA?

La implementación de los SDA por parte de instituciones públicas tiene un impacto directo en la vida de las personas ya que los gobiernos se relacionan con la ciudadanía básicamente a través de la prestación de servicios públicos utilizando una gran cantidad de datos.

Cuando estos sistemas están sujetos a sesgos, o por un error en el diseño o implementación no funcionan cómo se había planificado o directamente fueron desarrollados para discriminar injustamente, se generan graves perjuicios a las personas. Esto se traduce en amenazas a la privacidad individual, discriminación injusta basada en factores como el género, la raza, la religión, la discapacidad y/o las condiciones socio-económicas que amplifican las desigualdades preexistentes, produciendo un debilitamiento sobre los derechos adquiridos por la ciudadanía.

¿Qué SDA controlamos?

El Observatorio controla a los SDA con impacto social que se encuentran operando las instituciones del sector público y relacionadas con cuestiones policiales y de seguridad; de servicios sociales; de justicia y procesos judiciales; de educación; de trabajo y recursos humanos; de servicios crediticios y financieros; entre las más destacadas.

Somos

Somos un Think Tank especializado en fomentar la Automatización Responsable. 

A través de investigaciones exhaustivas, análisis de políticas y en colaboración con expertos de diversas disciplinas, trabajamos para identificar tendencias, oportunidades y desafíos en este ámbito en constante evolución. 

Nuestra misión es proporcionar una perspectiva objetiva y basada en datos sobre cómo las automatizaciones están influyendo en el sector público y privado. 

Nuestra visión es promover un uso ético, responsable y beneficioso de las automatizaciones, asegurando que estas tecnologías se alineen con los valores y las necesidades de la sociedad en su conjunto.

Hacemos

Nuestro trabajo abarca desde la investigación y desarrollo de campañas de concientización hasta la implementación de medidas concretas para abordar desafíos específicos que se generan con los procesos de Automatización Responsable.

1.- DATOS

Visibilizamos los principales desafíos de las automatizaciones a partir de la evidencia. Sabemos que es necesario poner luz sobre las automatizaciones, por eso realizamos investigaciones a través del análisis de los datos que generamos. Publicamos informes de manera periódica posicionando a los Derechos Humanos en el centro del debate.

2.- SESIONES

Generamos espacios de diálogo entre los principales actores del ecosistema. El avance de las automatizaciones requiere de debates entre expertos de las más diversas disciplinas que se sostengan en el tiempo. Con este objetivo, generamos espacios de trabajo y mesas de diálogo con líderes del sector público y privado para impulsar acuerdos en las diferentes materias en las que trabajamos.

3.- CAMPAÑAS

Potenciamos la voz de la ciudadanía en busca de soluciones para proteger los Derechos Humanos ante el avance de las automatizaciones. Concientizar sobre los avances de las automatizaciones requiere del compromiso y conocimiento de todas/os. Una vez que detectamos los desafíos convertimos los resultados de las investigaciones en acciones concretas, en el desarrollo de alianzas y el impulso de campañas para que la instrumentación de las automatizaciones se impulsen respetando los Derechos Fundamentales.

4.- EVALUACIONES

Efectuamos evaluaciones de las automatizaciones para verificar su correlato en los principios éticos y sociales. A través de la instrumentación de una metodología de Automatización Responsable buscamos garantizar que estos sistemas se utilicen de manera justa, transparente y ética, promoviendo así un mayor grado de responsabilidad y rendición de cuentas en el uso de tecnologías.

Scroll al inicio