Grok: violência de gênero e exploração sexual de crianças e adolescentes demanda urgência da regulação de inteligência artificial

Assine a nossa carta!

Deixar a inteligência artificial sem regulação é contribuir diretamente para que mulheres, crianças, adolescentes e outros grupos vulneráveis sigam expostos aos piores danos da tecnologia. 

Os primeiros dias de 2026 foram marcados por um escândalo de proporções globais sobre a inteligência artificial: a plataforma Grok permitiu que usuários produzissem deepnudes – simulações sintéticas de nudez e violência sexual – de qualquer pessoa. Uma pesquisa recente do Center for Countering Digital Hate revelou que cerca de 4 milhões  de imagens sobre mulheres e crianças – famosas ou anônimas – foram geradas e circuladas na plataforma. A produção de imagens íntimas sem consentimento é um dos danos sociais possíveis gerados por sistemas de inteligência artificial  produzidos, comercializados e dispostos ao público sem mecanismos de controle de qualidade, análise de impactos ou regulação com participação social.

Além da revogação de consentimento para a produção de mídias sintéticas contendo imagens sexualizadas de mulheres, a violência gerada pelo caso em questão atinge de forma especialmente grave crianças e adolescentes, sujeitos em condição peculiar de desenvolvimento e titulares de proteção integral garantida pela Constituição. A possibilidade de geração, manipulação e disseminação de mídia sintética envolvendo crianças e adolescentes pode ser vista como a materialização de riscos previsíveis decorrentes de sistemas de inteligência artificial  lançados sem salvaguardas adequadas, além de ser crime tipificado pelo artigo 241-C do Estatuto da Criança e do Adolescente (ECA – Lei nº 8.069/90). Trata-se de uma violação direta da doutrina da proteção integral, que impõe ao Estado, às empresas e à sociedade o dever de antecipar riscos e impedir a exposição de crianças e adolescentes a formas de violência sexual, exploração, revitimização e danos irreversíveis à sua dignidade, imagem, privacidade e desenvolvimento psicossocial.

A Coalizão Direitos na Rede, coletivo com dezenas de organizações de todo o país comprometidas com o avanço dos direitos digitais, reforça que o caso sublinha a necessidade urgente de uma regulação de inteligência artificial no Brasil que seja protetiva de forma multidimensional. Atualmente em avaliação na Comissão Especial de Inteligência Artificial na Câmara dos Deputados, o projeto de lei 2338/2023 tem o potencial de evitar ou mitigar danos como os vistos nas últimas semanas. Reforçamos que o país precisa de um projeto de lei que inclua mecanismos como:

• Avaliações e classificações de risco  
  • Obrigatoriedade de realização de avaliação preliminar de risco a todos os sistemas de inteligência artificial que utilizam ou impactam dados pessoais;
  • Obrigatoriedade, aos sistemas de alto risco, da avaliação de impactos algorítmicos aos direitos humanos, realizada por entidades independentes;
  • Inclusão, no rol de sistemas de alto risco, daqueles dedicados à curadoria, difusão, recomendação e distribuição, em grande escala e significativamente automatizada, de conteúdo por provedores de aplicação de internet;
  • Classificação da geração, edição ou manipulação de imagens sintéticas envolvendo crianças e adolescentes como hipótese de risco excessivo, com proibição expressa e absoluta dessas funcionalidades em sistemas de inteligência artificial, independentemente da finalidade declarada, vedando-se inclusive usos supostamente recreativos, artísticos ou experimentais, especialmente por se tratar de condutas já tipificadas como crime no ordenamento jurídico brasileiro, nos termos do 241-C do Estatuto da Criança e do Adolescente, em razão do potencial intrínseco de violação à dignidade, à imagem, à privacidade e ao desenvolvimento integral de pessoas em condição peculiar de desenvolvimento.
• Medidas Protetivas
  • Inclusão e operacionalização de princípios, fundamentos e conceitos alinhados com nosso ordenamento jurídico, incluindo integridade da informação, proteção e promoção de direitos de grupos vulneráveis, igualdade, pluralidade, diversidade e não discriminação, incluindo suas modalidades indiretas e múltiplas;
  • Inclusão de amplo rol de direitos, independentemente do grau de risco do sistema, como direito à informação, à privacidade, à proteção de dados pessoais, à revisão, à não discriminação ilícita ou abusiva e à correção de vieses discriminatórios ilegais ou abusivos, sejam eles diretos ou indiretos;
  • Proibição da geração de imagens, áudios e vídeos por sistemas de inteligência artificial que impactem ou se assemelhem a conteúdos sintéticos de crianças e adolescentes.
• Obrigações de Transparência 
  • Obrigações de transparência e prestação de contas para sistemas de inteligência artificial com interação com pessoas naturais, tais como:
    • Dever de informar riscos, limitações, usos indevidos identificados e medidas de mitigação adotadas;
    • Disponibilização de informações e identificação de conteúdos sintéticos de imagem, áudio ou vídeo gerados ou manipulados por inteligência artificial. i.e. deepfakes; 
    • Disponibilização de informações para os usuários sobre os sistemas de IA que gerem ou manipulem texto publicado com o objetivo de informar o público sobre assuntos de interesse público, bem como identificação destes conteúdos. i.e. chatbots 
    • Disponibilização de informações e identificação de sistemas de reconhecimento de emoções ou de categorização biométrica;Obrigatoriedade de mecanismos de transparência sobre todos os sistemas com o potencial de impactar grupos vulneráveis;
  • Regras reforçadas de transparência e prestação de contas para sistemas de IA que impactem crianças e adolescentes, com dever de informar riscos, limitações, usos indevidos identificados e medidas adotadas para mitigação;
• Governança e supervisão
  • Estabelecimento de uma rede supervisora de inteligência artificial com participação social e popular significativa;
  • Articulação institucional obrigatória entre autoridades de proteção de dados, sistema de justiça, conselhos de direitos e órgãos de proteção à infância, reconhecendo que danos algorítmicos contra crianças exigem respostas coordenadas e multidimensionais.
  • Inclusão, no Comitê de Especialistas e Cientistas de Inteligência Artificial (Cecia), da previsão de pesquisadoras interdisciplinares sobre discriminação contra mulheres e violência de gênero;
  • Inclusão, no Comitê de Especialistas e Cientistas de Inteligência Artificial (Cecia), da previsão de pesquisadores e entidades de defesa de direitos de crianças e adolescentes.

Diante da gravidade do Caso Grok e de diversos outros já mapeados, em especial os que materializam violações de direitos fundamentais como consequência da discriminação algorítmica, é urgente que a Câmara dos Deputados, pela Comissão Especial de Inteligência Artificial e posteriormente em plenário, dê imediato e rápido seguimento ao processo legislativo do PL 2338/2023, conforme itens elencados. A necessidade de uma regulação da IA responsável e protetiva de direitos no Brasil é urgente, pois permitir que a inteligência artificial opere sem regras é colaborar diretamente para que mulheres, crianças, adolescentes e outros grupos em situação de vulnerabilidade continuem sujeitos aos impactos mais nocivos dessas tecnologias.  

Entidades que assinam essa carta:

1. AMARC Brasil
2. AqualtuneLab – Cruzando o Atlântico
3. Associação Brasileira de Imprensa (ABI)
4. Associação Cultura, Cidade e Arte (ACCA)
5. Associação Data Privacy Brasil de Pesquisa
6. Associação Dojô Padma de Karatê Shotokan
7. Associação fortalecendo vidas (FOVI)
8. Associação Mulheres na Comunicação
9. Casa Marielle Franco Brasil
10. Centro de Estudos de Segurança e Cidadania (CESeC)
11. Centro Santo Dias de Direitos Humanos
12. Coalizão Direitos na Rede
13. Coding Rights
14. Coletivo Digital
15. Desvelar
16. DiraCom – Direito à Comunicação e Democracia
17. Federação Nacional dos Jornalistas
18. Fórum Goiano em Defesa dos Direitos dos Direitos, da Democracia e Soberania
19. Grupo de Pesquisa Ética, Direitos Humanos e IA da DPU
20. Ibmec
21. Instituto Alana
22. Instituto Aqualtune Lab
23. Instituto Brasileiro de Análises Sociais e Econômicas
24. Instituto de Defesa de Consumidores – Idec
25. Instituto Socioambiental – ISA
26. Instituto Sumaúma
27. Instituto Tijuípe
28. IP.rec – Instituto de Pesquisa em Direito e Tecnologia do Recife
29. Laboratório de Políticas Públicas e Internet- LAPIN
30. Open Knowledge Brasil
31. PrograMaria
32. Recria – Rede de Pesquisas em Comunicação, Infâncias e Adolescências
33. Repórteres Sem Fronteiras
34. Ser-Tão – Núcleo de Ensino, Extensão e Pesquisa em Gênero e Sexualidade (FCS/UFG)
35. SINT-IFESGO
36. SOS Corpo Instituto Feminista para a Democracia
37. Transparência Brasil
38. WITNESS

Se a sua entidade concorda, assine a nossa carta: