Acesse a versão em português aqui!
English version here!
Brasilia, 8 de julio de 2024.
En Brasil, se necesita urgentemente un enfoque basado en los derechos humanos para la regulación de los sistemas de inteligencia artificial.
Es innegable que los sistemas de inteligencia artificial (IA) pueden proporcionar innumerables beneficios a la sociedad, particularmente en la promoción 17 Objetivos de Desarrollo Sostenible (ODS) de la ONU.
Sin embargo, la falta de normas vinculantes para regular el desarrollo, la implementación y el uso de la IA tiene un enorme potencial para exacerbar los riesgos conocidos y prevenibles. La IA, por un lado, ya facilita algunas actividades y, por el otro, también genera daños y violaciones concretos, al reforzar prácticas discriminatorias, excluir a grupos históricamente marginados del acceso a bienes y servicios esenciales, apoyar la desinformación, socavar los procesos democráticos y aumentar vigilancia, exacerbando el cambio climático, acelerando el epistemicidio de lenguas y culturas indígenas y locales e intensificando la inseguridad laboral.
Para garantizar que los sistemas de IA promuevan innovación basada en los derechos humanos, la ética y la responsabilidad, Es esencial establecer reglas mínimas para salvaguardar los derechos de las personas afectadas, las obligaciones de los agentes de IA, las medidas de gobernanza y la definición de un marco regulatorio para la supervisión y la transparencia. Esto no impide el desarrollo y la innovación; por el contrario, una regulación eficaz que proteja los derechos es una condición indispensable para el florecimiento de productos y servicios de IA responsables que mejoren el potencial humano y el Estado de derecho democrático.
El Proyecto de Ley 2338/2023, que se centra en riesgos y derechos, es una buena guía para regular la IA, teniendo en cuenta el escenario internacional. Aunque todavía hay margen de mejora, como mostramos a continuación, este enfoque facilita el diálogo entre las leyes de diferentes países (interoperabilidad/convergencia regulatoria), reduciendo el esfuerzo de las organizaciones para adaptarse al contexto brasileño. Además, una regulación de la IA basada en los derechos y consciente de los riesgos ayudaría a posicionar a Brasil como pionero en la provisión y adopción de tecnologías responsables.
Desmentir mitos y falsas soluciones: la regulación como motor de la innovación responsable y el desarrollo económico inclusivo
Los actores que se oponen a la regulación integral de la IA en Brasil son precisamente los que se benefician de esta situación desregulada, creando argumentos y narrativas que no se sostienen en la práctica.
- Regulación vs. Innovación → No hay conflicto entre regulación e innovación; Ambos pueden y deben coexistir, como se ve en el Código Brasileño de Protección al Consumidor y Ley General de Protección de Datos. Además, la regulación de los sistemas de IA basada en riesgos/derechos permite promover la innovación responsable, fomentando el desarrollo económico, tecnológico y social que prioriza el bienestar y la promoción de los derechos fundamentales. En este sentido, la Academia Brasileña de Ciencias publicó un informe sobre la regulación de la IA, confirmando que estimular la industria nacional de la IA y proteger los derechos fundamentales son agendas perfectamente compatibles.
- “Creciente necesidad de diálogo” → La sociedad civil ha defendido un diálogo más inclusivo y sistemático. Sin embargo, quienes están en contra de la regulación prescriptiva utilizan el mismo argumento para perjudicar y frenar el proceso legislativo. Retrasar la adopción de una regulación responsable permite el desarrollo y la implementación continuos de tecnologías riesgosas.
- Tecnología desconocida → El argumento de que la IA es inherentemente disruptiva e incontrolable a efectos regulatorios no se sostiene porque (a) Los estudios sobre el tema, tanto en la academia como en el sector privado, acumulan ocho décadas de experimentación y análisis de impactos sociales; (b) Los agentes de IA, especialmente los desarrolladores, tienen capacidad de decisión para tomar decisiones sobre el diseño, desarrollo e implementación de tecnología, incluida la opción de no implementarla si la transparencia, el control de calidad y responsabilidad se consideran inapropiados.
Además de argumentos y narrativas falaces, hay una fuerte movilización de los sectores productivos y empresas tecnológicas para impedir la votación del Proyecto de Ley, ya sea mediante la imposición de una avalancha de enmiendas de último momento, solicitudes de audiencias públicas o lobbying directo de parlamentarios. El lobby de la industria es enorme, incluyendo viajes internacionales y eventos privados organizados por las grandes tecnológicas para los senadores más involucrados en el debate.
Después de un exitoso lobby para posponer la votación sobre el proyecto, se convocó una nueva ronda de audiencias públicas. La primera solicitud de indicar nombres para las audiencias
incluyó únicamente a personas del sector privado, compuesto básicamente por hombres blancos del sureste del país, desconociendo otros sectores, especialmente la sociedad civil, así como marcadores sociales de raza, género y territorio. Correspondía a la sociedad civil luchar por la inclusión de algunos de sus representantes.
En estas últimas audiencias, representantes del sector privado insistieron en el (falaz) argumento de que regular la IA en Brasil impediría la innovación en el país, siendo un costo enorme para las startups y las pequeñas y medianas empresas, a favor de la innovación a cualquier costo. (incluso en detrimento de los derechos fundamentales básicos), una posición que ignora el capítulo específico sobre el estímulo de la innovación y el crecimiento de estas empresas, incluso con obligaciones más suaves y proporcionales. También se utilizaron argumentos sin base lógica ni jurídica relacionados con la censura, como comparar la evaluación preliminar de los sistemas de IA (cuyo objetivo es únicamente verificar el grado de riesgo de un determinado sistema de IA) con una posible censura previa a los desarrolladores.
Con la aproximación de la votación del proyecto por parte de la CTIA (que ya ha sido impedida por el lobby privado en más de una ocasión), observamos una intensificación del uso de las redes, especialmente de las plataformas -llamadas “censura PL” y asociando la clasificación de riesgos o medidas de gobernanza con las estrategias políticas del gobierno. Esta estrategia de relacionar proyectos de ley que confieren obligaciones legítimas de gobernanza a las plataformas con la censura ya se ha observado en otros momentos, como durante el proceso legislativo del PL 2630/2020.
Escenario regulatorio brasileño: junio-julio de 2024
Como trabajo final de la Comisión Temporal de Inteligencia Artificial (CTIA) del Senado Federal, se publicó un informe que contiene un nuevo proyecto de ley 2338, que fue actualizado nuevamente el 18 de junio y 4 de julio de 2024. Es importante resaltar que esta última propuesta incluye elementos considerados básico para la adecuada regulación de los sistemas de IA en Brasil, a saber:
- Asegurar derechos básicos para personas potencialmente afectadas por la IA;
- Definir usos inaceptables de la IA, que plantean riesgos importantes para los derechos fundamentales;
- Crear directrices generales y obligaciones de gobernanza, con requisitos específicos para sistemas de alto riesgo y el sector público;
- Mantiene evaluaciones de impacto algorítmicas identificar y mitigar riesgos, así como evaluar oportunidades;
- Presta especial atención al contexto brasileño de racismo estructural, incorporando a lo largo del texto medidas para prevenir y combatir diferentes formas de racismo. discriminación directa e indirecta, así como para proteger a los grupos vulnerables;
- Establecer un marco de supervisión donde la autoridad competente trabaja junto con los reguladores sectoriales.
Además, nos gustaríaresaltar mejoras importantes los cuales fueron agregados al texto original del Proyecto de Ley 2.338 por la última propuesta:
- Prohibición explícita de sistemas de armas autónomos;
- La creación de medidas de gobernanza específicas para la IA generativa y de propósito general, lo cual es crucial porque dichos sistemas pueden no encajar perfectamente en las categorizaciones de niveles de riesgo;
- Añadir participación social en los procesos de gobernanza;
- Definición de régimen de responsabilidad civil para operadores, proveedores y distribuidores de sistemas de inteligencia artificial según lo previsto en el Código de Protección al Consumidor (responsabilidad objetiva) para las relaciones con los consumidores y en el Código Civil para los demás casos. Al mismo tiempo, también garantiza el deber de invertir la carga de la prueba en caso de vulnerabilidad; falta de comprensión y recursos de las víctimas; o cuando las características del sistema de IA hagan indebidamente gravoso para la víctima la prueba de los requisitos de responsabilidad civil;
- Designación directa de Autoridad Brasileña de Protección de Datos como autoridad competente para armonizar el sistema de supervisión, en colaboración con otros actores.
A pesar de los avances descritos anteriormente, la última versión mantiene o empeora cuestiones críticas que contradicen el objetivo central de regular la IA para proteger los derechos y propiciar la innovación responsable.
¿Qué se puede hacer para mejorar la regulación brasileña?
→ Sistemas de IA de riesgo excesivo
Inicialmente, es importante resaltar que los usos prohibidos de los sistemas de IA no deben estar vinculados a la intención del agente. Por lo tanto, la expresión “con el fin de” para usos prohibidos (art. 13, I) debe excluirse para abarcar todas las tecnologías nocivas y sus efectos, independientemente de si los agentes de IA tienen la intención de ser intencionadamente nocivos o no.
Además, las prohibiciones tampoco podrían vincularse a la causalidad, como ocurre con la expresión “de manera que cause daño”. Por tanto, es necesario modificar el art. 13, I (a) y (b), para excluir el vínculo causal de “de una manera que cause daño a la salud, la seguridad u otros derechos fundamentales de uno mismo o de otros” para las prohibiciones de técnicas para inducir comportamientos y explotar vulnerabilidades.
Además, el uso de tecnologías debería prohibir el uso de los sistemas de reconocimiento facial para la seguridad pública y la justicia penal, considerando que estas son áreas altamente sensibles debido al potencial de restringir derechos fundamentales, como la libertad de expresión y reunión, además de revertir la presunción de inocencia. Estos usos también terminan reafirmar el potencial discriminatorio de estas tecnologías, que a menudo conducen a errores -conocidos como falsos positivos- que conducen a situaciones inaceptables, como arresto injusto de un hombre en Sergipe, el trato agresivo a un joven después de una identificación errónea en Salvador, está en arresto injusto de una mujer en Río de Janeiro. Casos como estos son graves y recurrentes.
La vigilancia constante, masiva e indiscriminada constituye una violación de los derechos y libertades de las personas y limita el espacio cívico y público. Lo que se sabe de los sistemas de reconocimiento facial es que son ineficientes y generan costes innecesarios a la administración pública debido a sus altos índices de error. Un estudio reciente indicó uno coste medio de los recursos públicos de 440 mil reales por cada arresto realizado mediante reconocimiento facial. Además de su ineficiencia, estos sistemas han sido denunciados sistemáticamente por su impacto discriminatorio, que afecta desproporcionadamente a las poblaciones negras y, en mayor medida, a las mujeres.
Consideramos que la autorización para utilizar sistemas de reconocimiento facial es una violación de los derechos fundamentales garantizados al pueblo brasileño. Además, la forma en que se permite su uso, sin salvaguardias y protecciones específicas, dada la naturaleza de estos sistemas, exacerba los problemas ya conocidos. Igualmente preocupante es la falta de legislación específica sobre protección de datos para actividades de seguridad pública.
→ Sistemas de IA de alto riesgo
Además, existe la necesidad de cambio en las disposiciones de la categoría de alto riesgo, principalmente no que concierne (a) evaluar la capacidad de endeudamiento y establecer puntajes crediticios y (b) usos nocivos de la IA.
a) Evaluación capacidad de endeudamiento y establecimiento de puntajes crediticios
La puntuación de crédito es una herramienta utilizada por bancos e instituciones financieras para evaluar si un individuo es un prestatario confiable en función de su riesgo de incumplimiento, por ejemplo, al tomar decisiones sobre el acceso al crédito en estas instituciones.
El acceso al crédito financiero es fundamental como requisito previo para ejercer una serie de derechos garantizados constitucionalmente, lo que subraya la importancia de salvaguardias sólidas en las calificaciones crediticias definidas por la IA. Esto es especialmente crucial debido a su potencial demostrado de discriminación, como lo demuestran las investigaciones, incluyendo estudios realizados en el contexto brasileño. Es importante señalar que, además de la importancia crítica del crédito como requisito previo para el acceso a bienes y servicios esenciales como la atención sanitaria y la vivienda, los modelos de crédito se alimentan de una gran cantidad de datos personales, lo que en sí mismo requiere una mayor protección de seguridad.
Considerando que esta aplicación en la clasificación de alto riesgo es consistente con otras normas internacionales, como el Reglamento Europeo sobre Inteligencia Artificial, el tienes un registro.
b) Usos nocivos de la IA
oh Artículo 14, IX, X y XI enumeran los usos de la IA que se ha demostrado que tienen más efectos negativos más que positivos y son opuestos al derecho internacional. Estos se refieren a estudio analítico de delitos que involucran a individuos para identificar patrones y perfiles de comportamiento; evaluar la credibilidad de la evidencia; vigilancia predictiva; y reconocimiento de emociones.
Esto ocurre principalmente porque tales usos están asociados con el tecnosolucionismo y las teorías lombrosianas, que reforzarían la discriminación estructural y la violencia histórica contra ciertos grupos de la sociedad, particularmente la población negra.
En 2016, ProPublica publicó un estudio mostrando cómo un sistema de IA solía generar una puntuación predictiva de la probabilidad de que un individuo cometa delitos futuros mostró resultados sesgados, por motivos de raza y género que no corresponden a la realidad de las personas que efectivamente cometieron o reincidieron. Por lo tanto, se ha demostrado que la subsección aumenta potencialmente las prácticas discriminatorias.
Subsección XI, sobre identificación y autenticación biométrica para reconocimiento de emociones, también es preocupante, ya que no hay consenso científico en la capacidad de identificar emociones basándose únicamente en expresiones faciales, lo que llevó, por ejemplo, a que Microsoft dejará de utilizar herramientas de IA para tales fines.
En este sentido, consideramos la necesidad de clasificar los usos previstos en el artículo 14, IX, X y XI como riesgos inaceptables.
→ Participación de la sociedad civil en el sistema de gobernanza y supervisión
La versión actual de El proyecto de ley mejoró la definición del sistema de inspección. El texto propone ahora la creación del Sistema Nacional de IA (SIA), compuesto por la autoridad competente, denominada Autoridad Nacional de Protección de Datos (ANPD), autoridades sectoriales, el nuevo Consejo Regulador de la Cooperación en IA (CRIA) y el Comité para Expertos y Científicos en IA (CECIA).
Considerado un avance importante, el Consejo de Cooperación Regulatoria, que servirá como foro permanente de colaboración, ahora incluye la participación de la sociedad civil. Sin embargo, es importante garantizar que esta participación sea significativa, garantizando a la sociedad civil un papel activo y eficaz en la gobernanza y regulación de la IA.
Para la aprobación del Proyecto de Ley 2338/2023 con la inclusión de mejoras
Con todo dicho, las entidades suscriptores expresan su apoyo al avance del trámite legislativo del Proyecto de Ley 2338/2023 en la Comisión de IA (CTIA) y en el pleno del Senado hacia su aprobación, siempre que se cumplan las siguientes mejoras hacerse:
Modificación del artículo 13, I, para excluir la expresión “con el fin de” para usos prohibidos, para cubrir todas las tecnologías dañinas y sus efectos, independientemente de si los agentes de IA tienen la intención de ser intencionadamente dañinos o no;
- Modificación del artículo 13, I (a) y (b) para excluir el nexo causal de “de forma que cause daño a la salud, la seguridad u otros derechos fundamentales propios o de terceros”.”para prohibiciones sobre el uso de técnicas que induzcan comportamientos y la explotación de vulnerabilidades;
- Modificación del artículo 13, VII excluir excepciones al uso de datos biométricos identificación por sistemas de forma remota, en tiempo real y en espacios accesibles al público, por lo tanto prohibiendo el uso de estos sistemas para la seguridad pública y la persecución penal. O, no mínimo, pedimos un moratoria que autorice usos dentro de las excepciones enumeradas solo después de la aprobación de una ley federal que especifique los propósitos de uso y garantice el cumplimiento de salvaguardias suficientes (al menos las garantizadas para sistemas de IA de alto riesgo);
- Retorno de calificación crediticia u otros sistemas de inteligencia artificial destinados a evaluar la solvencia de personas de alto riesgo enumerados en el artículo 14, con la posibilidad de crear una excepción para los sistemas de inteligencia artificial utilizados para detectar fraude financiero;
- El cambio en las clasificaciones de los sistemas mencionados en el artículo 14, IX, X y XI para la categoría de riesgos inaceptables;
- Garantizar la participación de la sociedad civil. en el Sistema Nacional de Gobernanza y Regulación de la Inteligencia Artificial (SIA), a través de la composición del Consejo de Cooperación Reguladora de Inteligencia Artificial (CRIA), es eficaz y significativa.
Firman este documento:
Suscripciones de organizaciones:
- ABRA – Associação Brasileira de Autores Roteiristas
- Access Now
- AFROYA TECH HUB
- Amarc Brasil
- ANTE- Articulação Nacional das Trabalhadoras e dos Trabalhadores em Eventos
- AQC – ESP
- Assimetrias/UFJF
- Associação Brasileira de Imprensa
- BlackPapers
- Câmara dos Deputados- Liderança do PT
- Câmara Municipal do Recife
- Centro de Direitos Humanos de Jaraguá do Sul – SC
- Centro de Estudos de Segurança e Cidadania (CESeC)
- Centro de Pesquisa em Comunicação e Trabalho
- Coalizão Direitos na Rede
- Coding Rights
- Coletivo artistico – Guilda dos Quadrinhos
- Complexos – Advocacy de Favelas
- data_labe
- Data Privacy Brasil
- Digital Action
- DiraCom – Direito à Comunicação e Democracia
- FaleRio- Frente Ampla pela Liberdade de Expressão do Rio de Janeiro
- Fizencadeando
- FNDC – Fórum Nacional pela Democratização da Comunicação
- FONSANPOTMA SP
- Fotógrafas e Fotógrafos pela Democracia
- FURG
- GNet (Grupo de Estudos Internacionais em Propriedade Intelectual, Internet & Inovação)
- Grupo de Pesquisa Economia Política da Comunicação da PUC-Rio/CNPq
- Grupo de Pesquisa e Estudos das Poéticas do Codiano – EPCO/UEMG
- Idec – Instituto de Defesa de Consumidores
- IFSertãoPE – Campus Salgueiro
- Iniciativa Direito a Memória e Justiça Racial
- INSTITUTO AARON Swartz
- Instituto Bem Estar Brasil
- Instituto Lidas
- Instituto Minas Programam
- Instituto de Pesquisa em Internet e Sociedade (IRIS)
- Instituto Sumaúma
- Instituto Soma Brasil
- Instituto Telecom
- IP.rec – Instituto de pesquisa em direito e tecnologia do Recife
- Intervozes – Coletivo Brasil de Comunicação Social
- Irmandade SIOBÁ/Ba
- Laboratório de Políticas Públicas e Internet – LAPIN
- MediaLab.UFRJ
- Movimento Dublagem Viva
- MST
- Niutechnology
- OBSCOM-UFS (Observatório de Economia e Comunicação da Universidade Federal de Sergipe)
- Open Knowledge Brasil
- PAVIC – Pesquisadores de Audiovisual, Iconografia e Conteúdo
- Rebrip – Rede Brasileira pela Integração dos Povos
- Rede Justiça Criminal
- Rede LAVITS
- SATED- SÃO PAULO
- sintespb
- Transparência Brasil
- Voz da Terra
- UFRN
- ULEPICC-Brasil (União Latina de Economia Política da Informação, da Comunicação e da Cultura, Capítulo Brasil)
- UNIDAD
Suscripciones de individuos:
- Admirosn Medeiros Ferro Júnior
- Alê Capone
- Aliete Silva Mendes
- Alvaro Bastoni Junior
- Ana Carolina Sousa Dias
- Ana Gretel Echazú Böschemeier, PhD
- Andreza Rocha
- Angela Couto
- Aurora Violeta
- Bianca Soares Monteiro
- Breno Augusto Silva de Moura
- Camila Silva Lima
- César Ricardo Siqueira Bolaño
- César Saraiva Lafetá Júnior
- Delmo de Oliveira Torres Arguelhes
- Diego Rabatone Oliveira
- Dirce Zan
- Emanuella Ribeiro
- Erika Gushiken
- Flávia da Silva Fernandes
- Fran Raposo
- Francisco S Costa
- Fransergio Goulart
- Frido Claudino
- Giovanna Mara de Aguiar Borges
- Haydée Svab
- Huan Pablo da Silva dos Santos
- Inaê Batistoni
- Ivan Moraes
- Jane Caraça Schneider
- Janaina Souto Barros
- Janaina VIsibeli Barros
- Jolúzia Batista
- Jonas Cardoso Borges
- José Eduardo De Lucca
- José Maria Rodrigues Nunes
- Juliana Vieira
- Lais Azeredo Rodrigues
- Larissa de Medeiros
- Larissa Vieira
- Lauro Accioly
- León Fenzl
- Livia Maria Santos Silva
- Louise Karczeski
- Luciano Félix Ferreira
- Luis Gonçalves
- Luís Gustavo de Souza Azevedo
- Luiza Vieira
- Luli Hata
- Maíra Vilela Francisco
- Marcelo Rodrigues Saldanha da Silva
- Marcelo de Freitas Rigon
- Maria José Braga
- Mariana Alves Araújo Lopes
- Mateus Mendes
- Melissa Cipriano Vanini Tupinambá
- Mônica Martins
- Mônica Zarattini
- Naiara Lopes
- Nilo Sergio Silva Gomes
- Olga Teixeira de Almeida
- Ogan Valdo Lumumba
- Paula Guedes Fernandes da Silva
- Paulo Rená da Silva Santarém
- Pedro Silva Neto
- Poema Portela
- Raíssa Trevisan
- Raquel de Moraes Alfonsin
- Ricardo Calmona Souza
- Rodrigo da Silva Guerra
- Rosana Moreira da Rocha
- Samuel Consentino de Medeiros
- Sérgio Luiz Homrich dos Santos
- Taís Oliveira
- Tânia Regina Homrich dos Santos
- Terezinha de Fátima dos Santos
- Thamires Orefice
- Vera Lucia Freitas
- Victor Sousa Barros Marcial e Fraga
- Wagner Moreira Da Silva
- Wallace de Oliveira de Souza
- Ydara de Almeida, Advogada
Suscripciones:
Suscripciones de organizaciones:
Suscripciones de individuos:
