Grok: violência de gênero e exploração sexual de crianças e adolescentes demanda urgência da regulação de inteligência artificial

Assine a nossa carta!

Deixar a inteligência artificial sem regulação é contribuir diretamente para que mulheres, crianças, adolescentes e outros grupos vulneráveis sigam expostos aos piores danos da tecnologia. 

Os primeiros dias de 2026 foram marcados por um escândalo de proporções globais sobre a inteligência artificial: a plataforma Grok permitiu que usuários produzissem deepnudes – simulações sintéticas de nudez e violência sexual – de qualquer pessoa. Uma pesquisa recente do Center for Countering Digital Hate revelou que cerca de 4 milhões  de imagens sobre mulheres e crianças – famosas ou anônimas – foram geradas e circuladas na plataforma. A produção de imagens íntimas sem consentimento é um dos danos sociais possíveis gerados por sistemas de inteligência artificial  produzidos, comercializados e dispostos ao público sem mecanismos de controle de qualidade, análise de impactos ou regulação com participação social.

Além da revogação de consentimento para a produção de mídias sintéticas contendo imagens sexualizadas de mulheres, a violência gerada pelo caso em questão atinge de forma especialmente grave crianças e adolescentes, sujeitos em condição peculiar de desenvolvimento e titulares de proteção integral garantida pela Constituição. A possibilidade de geração, manipulação e disseminação de mídia sintética envolvendo crianças e adolescentes pode ser vista como a materialização de riscos previsíveis decorrentes de sistemas de inteligência artificial  lançados sem salvaguardas adequadas, além de ser crime tipificado pelo artigo 241-C do Estatuto da Criança e do Adolescente (ECA – Lei nº 8.069/90). Trata-se de uma violação direta da doutrina da proteção integral, que impõe ao Estado, às empresas e à sociedade o dever de antecipar riscos e impedir a exposição de crianças e adolescentes a formas de violência sexual, exploração, revitimização e danos irreversíveis à sua dignidade, imagem, privacidade e desenvolvimento psicossocial.

A Coalizão Direitos na Rede, coletivo com dezenas de organizações de todo o país comprometidas com o avanço dos direitos digitais, reforça que o caso sublinha a necessidade urgente de uma regulação de inteligência artificial no Brasil que seja protetiva de forma multidimensional. Atualmente em avaliação na Comissão Especial de Inteligência Artificial na Câmara dos Deputados, o projeto de lei 2338/2023 tem o potencial de evitar ou mitigar danos como os vistos nas últimas semanas. Reforçamos que o país precisa de um projeto de lei que inclua mecanismos como:

  • Avaliações e classificações de risco  
    • Obrigatoriedade de realização de avaliação preliminar de risco a todos os sistemas de inteligência artificial que utilizam ou impactam dados pessoais;
    • Obrigatoriedade, aos sistemas de alto risco, da avaliação de impactos algorítmicos aos direitos humanos, realizada por entidades independentes;
    • Inclusão, no rol de sistemas de alto risco, daqueles dedicados à curadoria, difusão, recomendação e distribuição, em grande escala e significativamente automatizada, de conteúdo por provedores de aplicação de internet;
    • Classificação da geração, edição ou manipulação de imagens sintéticas envolvendo crianças e adolescentes como hipótese de risco excessivo, com proibição expressa e absoluta dessas funcionalidades em sistemas de inteligência artificial, independentemente da finalidade declarada, vedando-se inclusive usos supostamente recreativos, artísticos ou experimentais, especialmente por se tratar de condutas já tipificadas como crime no ordenamento jurídico brasileiro, nos termos do 241-C do Estatuto da Criança e do Adolescente, em razão do potencial intrínseco de violação à dignidade, à imagem, à privacidade e ao desenvolvimento integral de pessoas em condição peculiar de desenvolvimento.
  • Medidas Protetivas
    • Inclusão e operacionalização de princípios, fundamentos e conceitos alinhados com nosso ordenamento jurídico, incluindo integridade da informação, proteção e promoção de direitos de grupos vulneráveis, igualdade, pluralidade, diversidade e não discriminação, incluindo suas modalidades indiretas e múltiplas;
    • Inclusão de amplo rol de direitos, independentemente do grau de risco do sistema, como direito à informação, à privacidade, à proteção de dados pessoais, à revisão, à não discriminação ilícita ou abusiva e à correção de vieses discriminatórios ilegais ou abusivos, sejam eles diretos ou indiretos;
    • Proibição da geração de imagens, áudios e vídeos por sistemas de inteligência artificial que impactem ou se assemelhem a conteúdos sintéticos de crianças e adolescentes.
  • Obrigações de Transparência 
    • Obrigações de transparência e prestação de contas para sistemas de inteligência artificial com interação com pessoas naturais, tais como:
      • Dever de informar riscos, limitações, usos indevidos identificados e medidas de mitigação adotadas;
      • Disponibilização de informações e identificação de conteúdos sintéticos de imagem, áudio ou vídeo gerados ou manipulados por inteligência artificial. i.e. deepfakes; 
      • Disponibilização de informações para os usuários sobre os sistemas de IA que gerem ou manipulem texto publicado com o objetivo de informar o público sobre assuntos de interesse público, bem como identificação destes conteúdos. i.e. chatbots 
      • Disponibilização de informações e identificação de sistemas de reconhecimento de emoções ou de categorização biométrica;Obrigatoriedade de mecanismos de transparência sobre todos os sistemas com o potencial de impactar grupos vulneráveis;
    • Regras reforçadas de transparência e prestação de contas para sistemas de IA que impactem crianças e adolescentes, com dever de informar riscos, limitações, usos indevidos identificados e medidas adotadas para mitigação;
  • Governança e supervisão
    • Estabelecimento de uma rede supervisora de inteligência artificial com participação social e popular significativa;
    • Articulação institucional obrigatória entre autoridades de proteção de dados, sistema de justiça, conselhos de direitos e órgãos de proteção à infância, reconhecendo que danos algorítmicos contra crianças exigem respostas coordenadas e multidimensionais.
    • Inclusão, no Comitê de Especialistas e Cientistas de Inteligência Artificial (Cecia), da previsão de pesquisadoras interdisciplinares sobre discriminação contra mulheres e violência de gênero;
    • Inclusão, no Comitê de Especialistas e Cientistas de Inteligência Artificial (Cecia), da previsão de pesquisadores e entidades de defesa de direitos de crianças e adolescentes.

Diante da gravidade do Caso Grok e de diversos outros já mapeados, em especial os que materializam violações de direitos fundamentais como consequência da discriminação algorítmica, é urgente que a Câmara dos Deputados, pela Comissão Especial de Inteligência Artificial e posteriormente em plenário, dê imediato e rápido seguimento ao processo legislativo do PL 2338/2023, conforme itens elencados. A necessidade de uma regulação da IA responsável e protetiva de direitos no Brasil é urgente, pois permitir que a inteligência artificial opere sem regras é colaborar diretamente para que mulheres, crianças, adolescentes e outros grupos em situação de vulnerabilidade continuem sujeitos aos impactos mais nocivos dessas tecnologias.  

Entidades que assinam essa carta:
  1. AMARC Brasil
  2. Associação Brasileira de Imprensa (ABI)
  3. Associação Cultura, Cidade e Arte (ACCA)
  4. Associação Data Privacy Brasil de Pesquisa
  5. Associação fortalecendo vidas (FOVI)
  6. Associação Mulheres na Comunicação
  7. Casa Marielle Franco Brasil
  8. Centro de Estudos de Segurança e Cidadania (CESeC)
  9. Centro Santo Dias de Direitos Humanos
  10. Coalizão Direitos na Rede
  11. Coding Rights
  12. Coletivo Digital
  13. Desvelar
  14. DiraCom – Direito à Comunicação e Democracia
  15. Federação Nacional dos Jornalistas
  16. Fórum Goiano em Defesa dos Direitos dos Direitos, da Democracia e Soberania
  17. Grupo de Pesquisa Ética, Direitos Humanos e IA da DPU
  18. Ibmec
  19. Instituto Alana
  20. Instituto Aqualtune Lab
  21. Instituto Brasileiro de Análises Sociais e Econômicas
  22. Instituto de Defesa de Consumidores – Idec
  23. Instituto Socioambiental – ISA
  24. Instituto Sumaúma
  25. Instituto Tijuípe
  26. IP.rec – Instituto de Pesquisa em Direito e Tecnologia do Recife
  27. Laboratório de Políticas Públicas e Internet- LAPIN
  28. Open Knowledge Brasil
  29. PrograMaria
  30. Recria – Rede de Pesquisas em Comunicação, Infâncias e Adolescências
  31. Repórteres Sem Fronteiras
  32. Ser-Tão – Núcleo de Ensino, Extensão e Pesquisa em Gênero e Sexualidade (FCS/UFG)
  33. SINT-IFESGO
  34. SOS Corpo Instituto Feminista para a Democracia
  35. Transparência Brasil
  36. WITNESS