Muchas organizaciones de la sociedad civil y defensores de derechos humanos monitorean cómo las instituciones públicas han concebido y desplegado sistemas algorítmicos en América Latina para apoyar decisiones críticas que afectan la vida y los derechos de las personas. Desempeñan un papel vital a la hora de arrojar luz sobre las fallas y luchar por poner los derechos humanos y las garantías constitucionales en el centro del uso de la IA por parte de los gobiernos.
Les pedimos a un grupo pequeño pero representativo de ellos que compartieran los desafíos que han encontrado desde su trabajo y resaltar cómo movilizar los estándares interamericanos de derechos humanos puede ser fundamental para enfrentar estos desafíos.
Puede encontrar su opinión a continuación.
- Jamila Venturini (Derechos Digitales, Brazil/LatAm)
- Priscilla Ruiz Guillén (Artículo 19 México y Centroamérica, México)
- Tomás Pomar (Observatorio de Derecho Informático Argentino - ODIA, Argentina)
- Clarice Tavares (InternetLab, Brazil)
- Juan Diego Castañeda (Fundación Karisma, Colombia)
Jamila Venturini (Derechos Digitales, Brazil/LatAm)
Desde 2021, Derechos Digitales desarrolla análisis sobre los impactos de la inteligencia artificial (IA) a los derechos humanos en América Latina, con un enfoque particular en el uso de la IA en las políticas públicas. Nuestra principal preocupación ha sido cómo el despliegue de la IA ha servido para reforzar estructuras de dependencia y opresión en nuestra región, así como la forma en que los marcos regulatorios han fallado en proteger de la discriminación, vigilancia y exclusión a grupos en situación de vulnerabilidad. Algunos de nuestros trabajos son: "IA & Inclusión en América Latina"; “Hacia un marco feminista para el desarrollo de IA: de los principios a la práctica”; y “América Latina ante la inteligencia artificial: mapeo de iniciativas regulatorias en la región”.
Mientras el uso de la inteligencia artificial avanza de manera silenciosa en áreas sensibles de las políticas públicas, los gobiernos de América Latina se proponen a discutir su regulación, en consonancia con las tendencias globales en la materia. Es fundamental que la región pueda participar activamente en tales discusiones y reflexionar sobre de que modo desea ver desarrollar la IA a partir de su territorio, historia, contexto y de las demandas sociales de cada país. Sin embargo, no podemos olvidar que la IA no se implementa en un vacío. El nuevo informe de EFF es crucial en recordar las obligaciones que los Estados latinoamericanos han asumido en materia de derechos humanos a nivel interamericano. Además, resalta como los marcos existentes deben ser considerados y pueden dar pistas importantes a tensiones que persisten cuando se piensa en regular IA. A la vez reitera como los compromisos y obligaciones existentes no se alteran con los cambios tecnológicos y deben ser obedecidos independientemente de la existencia o no de reglas específicas.
Desde Derechos Digitales partimos de los criterios de legalidad, necesidad y proporcionalidad, para analizar como los Estados observan o no sus obligaciones en materia de derechos humanos al implementar sistemas de IA. Hemos desarrollado seis estudios de caso en la región y estamos por lanzar nuevos cuatro estudios. Nuestra constatación hasta el momento es que persisten múltiples falencias. Comprobamos, por ejemplo, como la misma labor de monitorear este tipo de uso desde sociedad civil se ve desafiada por la ausencia de transparencia y rendición de cuentas o, incluso, por el no cumplimiento con requisitos de acceso a la información pública. Frente a este preocupante escenario, celebramos el minucioso análisis de EFF a los estándares interamericanos y confiamos en que servirá como base para fortalecer la presión pública por un uso de tecnologías en favor y respetuoso de derechos en América Latina. Esperamos que los Estados de América Latina y el Sistema Interamericano puedan recibir este aporte, junto con los muchos estudios desarrollados en la región sobre el tema, como una herramienta clave para el fortalecimiento del marco existe.
Priscilla Ruiz Guillén (Artículo 19 México y Centroamérica, México)
ARTICLE 19 oficina para México y Centroamérica es una organización no gubernamental independiente que promueve que todas las personas puedan ejercer su derecho a acceder a la información y expresarse en un entorno de libertad, seguridad e igualdad. ARTICLE 19 trabaja para vincular la promoción de políticas públicas, el acompañamiento a procesos locales y promover los más altos estándares internacionales de derechos humanos en el desarrollo, uso, adquisición e implementación de herramientas de tecnologías emergentes de tal manera que se contribuya al fortalecimiento de la democracia.
El Sistema Interamericano de los Derechos Humanos es un referente para aquellos gobiernos en las Américas actúen en concordancia y apliquen el corpus iuris interamericano que, a lo largo de su existencia, ha encausado los pilares fundamentales en una democracia. Los principios rectores que establecen los artículos 1 y 2 de la Convención Americana de Derechos Humanos (CADH) son una guía para que los Estados miembros cumplan sus compromisos, tales como, la obligación de respetar, proteger, garantizar y promover los derechos humanos.
Actualmente las discusiones globales sobre el desarrollo, adquisición y uso de las tecnologías emergentes por el sector público, considerando particularmente, la IA generativa merece de forma consciente la generación de políticas públicas. La regulación, por nombrar una política pública, debe ser per se necesaria y proporcional en la media que no solo potencialice la economía de los países sino que a la par adopte aquellos estándares de derechos humanos como la transparencia, la responsabilidad, la rendición de cuentas y la protección de todos los derechos humanos en la implementación de tecnologías emergentes.
Al considerar, los Estados miembros tanto el corpus iuris interamericano como los contextos actuales en la región de las Américas, resulta relevante para determinar el nivel de creación e implementación de políticas públicas para desarrollo de políticas y protocolos en IA claros y eficiencias para el sector público, con la finalidad de evitar incidentes que pongan en riesgo inminente el ejercicio pleno de los derechos humanos. Finalmente, es claro que aún persiste la colaboración entre el sector público, organizaciones de la sociedad civil y el sector privado para asegurar prácticas de la IA éticas y responsables respetando los estándares internacionales de derechos humanos y así continuar promoviendo la innovación tecnológica para el bienestar de la sociedad.
Tomás Pomar (Observatorio de Derecho Informático Argentino - ODIA, Argentina)
El Observatorio de Derecho Informático Argentino es una organización fundada por abogados del posgrado en Derecho Informático de la Universidad de Buenos Aires y diversos especialistas en tecnología. Su trabajo se encuentra orientado a bregar por el desarrollo de una ciudadanía digital plena así como hacía la defensa de la soberanía informática en la República Argentina. Entre las diversas acciones que lleva a cabo, se destaca la investigación, diseño y realización de litigios estratégicos en casos relativos a la defensa de los Derechos Humanos en contextos intermediados por el uso de nuevas tecnologías.
Este informe elaborado por la EFF es una herramienta fundamental para investigadores y activistas dedicados a la defensa de los derechos humanos en los entornos digitales. A lo largo de esta investigación, se presentan y desarrollan principios esenciales de derechos humanos exigibles por la ciudadanía ante la implementación de sistemas automatizados de toma de decisiones. El trabajo ofrece un abordaje integral al analizar los estándares jurídicos aplicables a estas tecnologías, no solo explorando los límites emergentes de los derechos humanos, sino también proponiendo formas en que las políticas públicas deberían implementarse, garantizando la participación social. Asimismo, es importante destacar el enfoque del informe en las limitaciones exigibles, basadas en lo establecido en la Convención Interamericana, con respecto a las excepciones generalmente esgrimidas por los Estados en materia de transparencia.
Uno de los grandes méritos del informe es que logra sistematizar de manera práctica aspectos profundamente relacionados con algunos de los primeros pronunciamientos judiciales sobre estas tecnologías. En este sentido, muchos de los ejes de análisis propuestos han tenido eco en el debate generado por la acción de amparo iniciada por ODIA contra la Ciudad de Buenos Aires, que buscaba la desconexión del sistema de Reconocimiento Facial de Prófugos en la vía pública mediante el uso de IA. En ese caso, las acciones de la sociedad civil comenzaron tras un anuncio unilateral del Gobierno de la Ciudad sobre la implementación del sistema. De acuerdo con lo señalado en el informe, un punto clave que motivó la decisión de ordenar la desconexión del sistema fue la falta de transparencia inherente a este tipo de tecnologías.También merece ser resaltado lo que el informe señala sobre los órganos de control y auditoría de estos sistemas, un aspecto que resultó fundamental en el debate en Buenos Aires. Finalmente, es crucial subrayar la importancia del desarrollo del trabajo en relación con las excepciones al régimen de acceso a la información pública, especialmente en lo que respecta a la aplicación del secreto industrial a los sistemas de IA de uso público. Este aspecto ha sido central en el debate en Buenos Aires, donde, a pesar de haber obtenido una sentencia judicial favorable, el fabricante se niega a mostrar los datasets y demás elementos del sistema provisto al Estado. Este punto es hoy en día un aspecto crucial en la determinación de los derechos ciudadanos en una realidad cada vez más intermediada por sistemas informáticos.
Clarice Tavares (InternetLab, Brazil)
O InternetLab é um centro independente de pesquisa interdisciplinar que promove o debate acadêmico e a produção de conhecimento nas áreas de direito e tecnologia. Constituído como uma entidade sem fins lucrativos, o InternetLab atua como ponto de articulação entre acadêmicos e representantes dos setores público, privado e da sociedade civil, incentivando o desenvolvimento de projetos que abordem os desafios de elaboração e implementação de políticas públicas em novas tecnologias, como privacidade, direitos humanos e questões ligadas a marcadores sociais da diferença.
A relação entre Estado e cidadão é, por excelência, uma relação assimétrica. Essa assimetria se dá em múltiplas camadas: de poder, de capacidade informacional e de capacidade punitiva, entre outras. Com a introdução das tecnologias digitais no âmbito do poder público, com métodos cada vez mais complexos de coleta e tratamento de dados, as assimetrias informacionais aprofundam-se cada dia mais, com uma profunda expansão da datificação de políticas públicas e a automatização de decisões por parte da administração pública brasileira. Se, de um lado, esses processos de datificação e automatização podem simplificar análises, agilizar concessão de benefícios ou mitigar fraudes; por outro, eles podem, também, aprofundar desigualdades e assimetrias entre cidadão e Estado. No entanto, nem sempre essas duas preocupações andam lado a lado, entre aqueles que são responsáveis pela formulação de políticas públicas. Em um contexto de preocupação com agilidade e fraudes, as preocupações em otimização, segurança e prevenção à fraude, muitas vezes, é colocado à frente das salvaguardas de direitos, como direito à privacidade, não discriminação ou de devido processo.
Pesquisas do InternetLab apontaram desafios na salvaguarda de direitos dos cidadãos nas formulações de políticas públicas. Para ilustrar uma pequena parcela desses desafios, vale relembrar o caso do Auxílio Emergencial, programa de transferência de renda cujo objetivo era apaziguar os efeitos econômicos e sociais da pandemia da Covid-19, em que foi identificado que a ausência de decisão humana ou de processos administrativos para contestação da decisão automatiza, impactou de forma desigual àquelas pessoas que tiveram seu benefício negado, por inconsistências nas bases cadastrais. O caso do Auxílio Emergencial joga luz na necessidade de que as políticas públicas que adotem sistemas automatizados adotem de forma transversal as garantias do devido processo legal, à luz dos Padrões Interamericanos de Direitos Humanos, para prevenir decisões equivocadas ou arbitrárias e para que existam procedimentos para que pessoas afetadas pela decisão possam fazer contestações. Este pequeno caso relacionado ao Auxílio Emergencial ilustra a importância da elaboração de um quadro operacional baseado nos Padrões Interamericanos de Direitos Humanos, para oferecer caminhos e algumas respostas aos novos desafios que se impõem aos governos que investem, cada vez mais, na automatização como resposta às desigualdades sociais.
Juan Diego Castañeda (Fundación Karisma, Colombia)
Fundación Karisma es una organización de la sociedad civil en Colombia que trabaja por que las tecnologías digitales protejan y aseguren los derechos humanos y la justicia social. Hemos analizado los sistemas intensivos en datos para programas sociales en Colombia. Algunos de estos informes son: "Experimentando con la pobreza: el Sisbén y los proyectos de analítica de datos en Colombia," y “Datos y dignidad: Guía para el uso justo de datos en la protección social desde el caso del Sisbén”.
El informe resalta varios estándares interamericanos de DDHH aplicables al sistema de identificación de potenciales beneficiarios de programas sociales (SISBEN) y el Registro Universal de Ingresos (RUI) en Colombia. Para observar estos estándares, las autoridades deben establecer mecanismos de participación activa y efectiva en el diseño de este sistema de clasificación. En ese sentido, se debe comprobar que la participación haya resultado en cambios y reformulaciones en el proceso. Encontrar soluciones y mecanismos para la participación de las personas en el diseño del SISBEN y el RUI, que son sistemas altamente datificados, ayudaría a reducir el impacto negativo que tienen en las personas y comunidades.
Otros estándares que es necesario incorporar en el SISBEN hoy tienen que ver con el debido proceso y la autodeterminación informativa. Las personas beneficiarias tienen derecho a ser escuchadas por las autoridades administrativas correspondientes para poder discutir la clasificación que reciben pues de ella depende el reconocimiento del acceso a programas sociales. Hasta hoy, las personas beneficiarias no cuentan con procedimientos para ser escuchadas ni conocen el procedimiento por el cual se asignan sus clasificaciones o se deciden los cambios que resultan en la pérdida de beneficios sociales. Esta opacidad pasa por el desconocimiento de las garantías a la autodeterminación informativa como el derecho a conocer los datos que tienen las autoridades o el derecho a pedir la rectificación, modificación y actualización de sus datos cuando son erróneos, incompletos o desactualizados.
