Marco Legal da Inteligência Artificial: como funcionará o sistema de riscos

Substitutivo prevê dois níveis de risco: ‘excessivo’, que é proibido, e o de alto risco, que traz obrigações adicionais

O texto substitutivo do Marco Legal da Inteligência Artificial (IA) prevê um sistema de classificação de riscos para uso da tecnologia. A gradação dos riscos, que guarda semelhanças com a prevista na regulação europeia, o AI Act, foi introduzida a partir do trabalho de uma comissão de juristas, que elaborou um texto para subsidiar o substitutivo.

O novo documento esboça não apenas o sistema de riscos, mas também o processo para a classificação de uma tecnologia, incluindo autoridades envolvidas e obrigações para as empresas de IA. 

Apresentado pelo senador Eduardo Gomes (PL-TO) em abril na Comissão Temporária Interna sobre Inteligência Artificial no Brasil (CTIA), o projeto ainda pode sofrer alterações, uma vez que a CTIA deve discutir sobre o tema até 23 de maio. 

Depois da deliberação na comissão, o projeto deve ser encaminhado à Câmara em comum acordo. O objetivo do governo é que o texto final esteja pronto até a reunião da cúpula do G20, em 18 e 19 de novembro. 

Análise preliminar

Segundo o substitutivo, o processo de classificação de um sistema começará com uma análise preliminar de riscos, feita pela própria empresa, antes da introdução de sua IA no mercado. 

A classificação de risco determinada por essa primeira avaliação poderá ser contestada pela autoridade responsável pela regulação de IA no país, chamada de Sistema de Inteligência Artificial (SIA) – ainda está a definir qual estrutura existente o abarcará, entre as cotadas está a Autoridade Nacional de Proteção de Dados Pessoais (ANPD). Neste caso, a empresa tem garantido o contraditório e a ampla defesa. 

Segundo o texto, a análise preliminar deve ser feita baseada “nos critérios previstos […] e nas boas práticas setoriais, de acordo com o estado da arte e do desenvolvimento tecnológico”, sem especificação sobre o que seriam as “boas práticas setoriais”.

Esse é um exemplo de redações vagas que podem gerar diferentes interpretações e dificultar a padronização nos critérios para riscos. “Não sabemos o grau de segurança jurídica disso”, diz Ana Frazão, integrante da comissão de juristas que propôs o texto original. “Há também a confiança de que o SIA vai impôr isso [regulamentações], o que pressupõe uma estrutura administrativa muito ágil.”

O SIA também poderá “definir as hipóteses em que a avaliação preliminar será simplificada ou dispensada”, segundo o substitutivo. Essas hipóteses, no entanto, ainda estão em aberto. Para Frazão, o ideal seria que a avaliação preliminar fosse dispensada em casos em que as “utilizações de IA já existem há um certo tempo, cuja experiência mostrou que seus efeitos são isolados”, ou aquelas “que não trabalham com dados pessoais sensíveis”.

Processo

Tanto na análise preliminar quanto na determinação do SIA, os sistemas de IA podem ser classificados em duas categorias: risco excessivo ou alto risco. As tecnologias dentro da classificação de risco excessivo são proibidas, enquanto as de alto risco estão sujeitas a regras mais rígidas de governança e fiscalização. 

Essas descrições específicas de critérios para a classificação de risco não foram detalhadas no texto. “[A categorização] é o primeiro passo de uma longa estrada”, diz Ana Amélia Menna Barreto, presidente da Comissão de Inteligência Artificial do Instituto dos Advogados Brasileiros. “Ainda vai ter que ser regulamentado, mas foi o texto possível e trouxe melhoras [em relação aos anteriores]. O problema disso é dispor e só depois regulamentar.”

Enquanto esperam por regulamentação específicas, agentes econômicos vivem em um limbo de insegurança jurídica, o que pode refrear decisões de investimentos. Para lidar com isso, Menna cita a celeridade do processo de regulação dos criptoativos como um exemplo que poderia ser seguido na regulação da IA. 

Um debate que também foi marcado pela busca de equilíbrio entre proteção e espaço para a inovação ocorreu no Marco Legal das Criptomoedas, aprovado em 2022. O texto entrou em vigor em 2023 e, em 2024, o Banco Central colocou como prioridade para o ano a regulamentação do uso de cripto em operações cambiais e para capitais internacionais.

Apesar de centralizada no SIA, a regulamentação da classificação de risco também será precedida de consulta pública, com a participação de agências e órgãos reguladores setoriais. Estes últimos devem “dispor sobre os aspectos técnicos específicos das aplicações de IA no mercado regulado de sua competência”, segundo o texto.

“Por enquanto, o substitutivo parece colocar num texto genérico aquilo que no microcosmo de uma organização precisa ser feito, com metodologia de classificação de riscos bem comum, que é usado por empresas nas mais variadas dimensões, não apenas na IA”, diz João Becker, professor do departamento de Tecnologia e Data Science da Fundação Getúlio Vargas. “Mas são definições muito vagas que não vão servir para as relações entre fornecedores e usuários desse sistema, o que pode gerar uma discussão jurídica interminável.”

Risco excessivo

São considerados de risco excessivo aqueles que induzem pessoas a “se comportar de forma prejudicial ou perigosa à saúde ou segurança própria ou de terceiros” e que “possibilitem a produção, disseminação ou facilitem a criação de material que caracterize ou represente abuso ou exploração sexual infantil”.  

Também são proibidos “sistemas de armas autônomas (SAA) que não permitam controle humano significativo, cujos efeitos sejam imprevisíveis ou indiscriminados ou cujo uso implique violações do Direito Internacional Humanitário”.

Além disso, são considerados de risco excessivo os sistemas usados pelo poder público para “avaliar, classificar ou ranquear as pessoas naturais, com base no seu comportamento social ou em atributos da sua personalidade” para o acesso a bens e serviços e políticas públicas. 

Também entram na categoria as tecnologias que “avaliem os traços de personalidade, as características ou o comportamento passado, criminal ou não, de pessoas singulares ou grupos, para avaliação de risco de cometimento de crime, infrações ou de reincidência”. 

O uso de sistemas de identificação biométrica à distância, em tempo real e em espaços acessíveis ao público também é proibido. No entanto, o texto prevê exceção a essa regra em alguns casos. 

O primeiro, quando houver “instrução de inquérito ou processo criminal, mediante prévia autorização judicial prévia”, em caso de infração penal de maior potencial ofensivo e quando a prova não puder ser feita por outros meios. O segundo, para busca de vítimas de crimes, de pessoas desaparecidas ou “em circunstâncias que envolvam ameaça grave de iminente risco à vida ou à integridade física de pessoas”.

Será ainda permitido usar identificação biométrica à distância em caso de “investigação e repressão de flagrantes delito, nos casos de crimes passíveis de pena máxima de reclusão superior a dois anos” e “recaptura de réus evadidos, cumprimento de mandados de prisão e de medidas restritivas”. 

Alto risco

Os critérios mencionados para guiar o trabalho do SIA em relação aos chamados sistemas de alto risco são “a implementação ser em larga escala, levando-se em consideração o número de pessoas afetadas e a extensão geográfica” e se “o sistema puder impactar negativamente o exercício de direitos e liberdades ou a utilização de um serviço”.

Também serão considerados de alto risco se “o sistema tiver alto potencial danoso de ordem material ou moral, bem como discriminatório”, se “o sistema afetar pessoas de um grupo vulnerável” e se “os possíveis resultados prejudiciais do sistema de inteligência artificial irreversíveis ou de difícil reversão”. 

Sistemas com “baixo grau de transparência, explicabilidade e auditabilidade […], que dificultem o seu controle ou supervisão” também estão nesta categoria. Esse critério pode levantar discussões, dependendo de sua regulamentação. “99% dos sistemas entrariam aqui”, diz Ana Frazão. “Explicabilidade não é algo compatível com sistemas algorítmicos. Isso é algo que só a mente humana tem.”

Além disso, frente aos pedidos por maior transparência, as empresas de tecnologia frequentemente alegam que o funcionamento de seus algoritmos é um segredo industrial que garante competitividade aos seus produtos. 

Também é visto como um sistema de alto risco aquele que pode “impactar negativamente a integridade da informação, o processo democrático e pluralismo, como, por exemplo, através da disseminação de desinformação e de discursos que promovam o ódio ou a violência”. 

Assim, a partir deste trecho, é possível interpretar que o sistema dos feeds das redes sociais poderia ser classificado como de alto risco. “Assim como [o Marco Legal da IA] tem muitas áreas de sobreposição com a LGPD [Lei Geral de Proteção de Dados], Código de Defesa do Consumidor, é possível que ele tenha com os projetos de lei que discutem desinformação. É importante que todos esses textos conversem”, alerta Frazão.

Os sistemas de alto risco estarão sujeitos a obrigações adicionais de governança. Por exemplo, as empresas devem definir um responsável pelo diálogo com o poder público. Ele será encarregado de testes de confiabilidade, gestão de dados para mitigar e prevenir vieses discriminatórios e submeter o sistema à supervisão humana. Quando gerar conteúdo sintético, a IA também deve colocar um identificador disso em seu resultado.

No entanto, é possível que sistemas de alto risco tenham “obrigações […] flexibilizadas considerando os diferentes papéis e alocação de responsabilidades de cada um dos agentes de sistemas de IA”, prevê o texto. Será responsabilidade do SIA definir as hipóteses e que isso acontecerá.

Impacto algorítmico

A chamada avaliação de impacto algorítmico é outra obrigação para as empresas de IA, “sempre que o sistema for considerado de alto risco pela avaliação preliminar”. Essa avaliação deve ser feita por um profissional independente, e considerará os riscos encontrados, bem como sua mitigação e monitoramento. 

Ela também incluirá “os benefícios associados ao sistema de inteligência artificial” e a “probabilidade e gravidade de consequências adversas, incluindo o número de pessoas potencialmente impactadas e o esforço necessário para mitigá-las”. A avaliação também prevê medidas de transparência ao público, e “treinamento e ações de conscientização dos riscos associados ao sistema de inteligência artificial”. 

O SIA também poderá estabelecer outros elementos para a elaboração dessa avaliação, bem como periodicidade para a sua atualização. Além disso, a conclusão da avaliação de impacto algorítmico deve ser pública, “observados os segredos industrial e comercial”. 

—

@Jota