Estándar de monitoreo
Para mitigar posibles sesgos en las diferentes etapas de puesta en marcha de los Sistemas de Decisiones Automatizadas (SDA) se necesita de una serie de controles y monitoreos permanentes.
Siguiendo las Recomendaciones Éticas de la Inteligencia Artificial emitidas por la UNESCO desarrollamos el estándar TATE para que los SDA se operen de forma transparente, auditables, trazables y explicables por parte de los organismos que lo utilicen:
1) Transparentes: Garantiza la protección y promoción de los Derechos Humanos y principios éticos;
2) Auditables: Asegura la rendición de cuentas para identificar posibles sesgos o errores;
3) Trazables: permite que se comprendan y corrijan desvíos durante las distintas etapas del desarrollo; y
4) Explicables: Posibilita conocer los motivos de las decisiones y presentar descargos sobre las mismas.
El estándar propuesto sigue los lineamientos de organismos internacionales y tiene como objetivo conocer en detalle los datos de los SDA con impacto social.
El Registro sistematiza los datos sobre los SDA a fin que haya más conciencia pública, fomentar el diálogo y el debate para que expertas/os de diferentes disciplinas analicen el uso y el impacto social de los mismos.
El estándar se compone de un listado de categorías con el intento de compilar y sistematizar la información producida por el uso de los SDA en uso en el sector público. Estas son las categorías y definiciones que estamos utilizando actualmente:
1.- Categoría: Información básica
1.1.- Nombre o denominación que identifique al sistema. Describe de forma precisa el nombre y la abreviatura del SDA.
1.2.- Breve descripción del sistema. Se detallan en un máximo de 140 caracteres la visión general y los objetivos del sistema.
1.3.- Organización responsable del sistema y competencias primarias. Se detallan el nombre completo de la organización estatal a cargo del sistema y descripción de las misiones y funciones.
1.4.- Detalle del área geográfica donde será utilizado el sistema y grupos impactados. Se especifica si el sistema es de cobertura nacional o si se utiliza para una delimitada cantidad de jurisdicciones. Además, se consignan los grupos de personas impactados.
1.5.- Informar si el sistema es operado por una unidad ejecutora externa. Se detalla si es operado por una unidad ejecutora externa a la dependencia que decidió implementar el sistema y se deja constancia si la misma es una organización sin fines de lucro; una universidad; otro gobierno; empresa público-privada u otro organismo.
1.6.- Política pública en la que intervendrá el sistema. Se debe detallar en el marco del plan, programa o acción para el que fue pensado el sistema.
1.7.- Estado del sistema. Se establece el estado en que se encuentra el sistema, pudiendo ser: planificado, diseño, desarrollo, piloto, operativo o archivado.
1.8.- Correo electrónico institucional. Se indica el correo electrónico oficial de la dependencia a cargo del sistema.
1.9.- Número telefónico. Se indica el número telefónico institucional de la dependencia a cargo del sistema.
1.10.- Web para consulta. Se añade el sitio web para consultar información adicional de la dependencia gubernamental.
1.11.- Costo de implementación del sistema. Se detalla el costo de implementación erogado para el sistema, las contrataciones asociadas a la implementación y los enlaces correspondientes al portal de compras públicas en caso de corresponder.
2.- Categoría: Uso del sistema
2.1.- Proceso de toma de decisiones. En este apartado se especifica la lógica del proceso de toma de decisiones del sistema, indicando su operación y posibles efectos.
2.2.- Objetivos. Se incorpora el fin de la política pública para la que se está implementando el sistema y como se espera que su aplicación contribuya a alcanzar los objetivos.
2.3.- Impacto. Este punto indica la manera que estarán en contacto los ciudadanos con los efectos del sistema, bajo que circunstancias específicas sucederá y las consecuencias esperadas a nivel individual y colectivo.
2.4.- Riesgos. En el presente apartado se explica la evaluación del riesgo utilizada y da una visión general de los posibles riesgos y medidas de mitigación.
2.5.- Proporcionalidad. Se especifica por qué es razonablemente necesario la implementación del sistema, detallando los beneficios esperados y explicando porque los mismos superan a los posibles daños.
2.6.- Norma que aprueba el sistema. Se indica el número, año de la norma, las siglas del organismo y el enlace al boletín oficial del acto administrativo que aprueba el sistema.
2.7.- Más información sobre el sistema. En caso de contar con más información se detalla el sitio web que contiene más documentación sobre sobre el uso del sistema.
3.- Categoría: Datos
3.1.- Datos utilizados. En el apartado se da una visión general sobre los datos que utiliza el sistema en un máximo de 140 caracteres.
3.2.- Datos de origen del sistema. En este punto se detallan los datos que procesa el sistema, describiendo las fuentes de datos y las posibles dependencias que resulten de los mismos.
3.3.- Datos sesgados. El apartado menciona si los datos utilizados en el sistema presentan sesgos y para el caso de existir se tienen que detallar el plan de mitigación en un máximo de 140 caracteres.
3.4.- Conexión de fuentes de datos. Se indica si el sistema está funcionando a través de una conexión a una base de datos personales o de datos sensibles.
3.5.- Descripción de los posibles impactos sobre los datos del sistema. En el punto se da cuenta de las herramientas elaboradas para evaluar el impacto de la protección de los datos de acuerdo a lo establecido en la normativa vigente.
4.- Categoría. Sistema algorítmico
4.1.- Tipo de sistema. En el presente apartado se indica qué tipo de sistema se está utilizando, especificando si es de autoaprendizaje, basado en reglas o mixto.
4.2.- Explicación del sistema. En el punto se describe en un máximo de 10.000 caracteres el funcionamiento interno del sistema. Se detallan todos los aspectos relevantes necesarios para entender cómo el sistema procesa los datos y alimenta la toma de las decisiones.
4.3.- Alternativas planificadas. Se explican los motivos que llevaron a elegir el sistema para cumplimentar los objetivos y si se consideró alguno alternativo.
4.4.- URL del código fuente. Se indica la URL a la base del código fuente del sistema.
4.5.- Evaluación de impacto del sistema. Se detalla la evaluación de impacto que se utilizó para el sistema y el detalle de los puntos claves del mismo.
5.- Categoría. Supervisión
5.1.- Monitoreo de rendimiento. Se especifica cuál es el rendimiento esperado del sistema, cómo se previó monitorear y quién es el responsable de hacerlo, qué criterios se utilizaron y cuál es la frecuencia para supervisar el rendimiento.
5.2.- Intervención humana. El punto describe cómo los humanos intervienen en los resultados del sistema, para que quede claro quién es el responsable por el accionar del mismo.
5.3.- Procedimiento de oposición. Se especifican los mecanismos por los cuales la ciudadanía puede oponerse al uso o resultado del sistema.
5.4.- Reducción del impacto del sistema. Detalla si es posible revertir completamente los efectos del sistema en caso de ser necesario y cuáles son los mecanismos que se necesitan para ello.
