Conselho do MEC define nível de risco do uso de IA para cada atividade na educação

O Conselho Nacional de Educação (CNE) aprovou nesta terça-feira, 1º, diretrizes para o uso de inteligência artificial (IA) na educação. Entre outros pontos, as normas estabelecem níveis de risco para o uso da tecnologia em cada tipo de atividade na área. Agora, o documento segue para homologação do Ministério da Educação (MEC). O CNE elaborou uma escala de risco para orientar escolas e universidades em relação ao uso de inteligência artificial. Os níveis variam desde 'baixo risco' até 'risco excessivo ou incompatível com finalidades educacionais', a depender do tipo de uso. As redes terão até 12 meses para se adequar às normas após homologação do texto. A intenção do conselho é orientar os gestores para um uso saudável dessas ferramentas sem acarretar prejuízos aos estudantes. Veja abaixo quais as atividades vinculadas aos diferentes níveis de risco: Os usos considerados de baixo risco são, em geral, aqueles para planejamento e organização, que não levam em conta avaliações, e outras funcionalidades. Entre eles: organização de materiais didáticos; apoio à acessibilidade; revisão textual não avaliativa; ferramentas auxiliares de planejamento; sistemas sem perfilização individual significativa.

• organização de materiais didáticos;
• apoio à acessibilidade;
• revisão textual não avaliativa;
• ferramentas auxiliares de planejamento;
• sistemas sem perfilização individual significativa.

O CNE classificou como risco moderado os usos que promovem algum nível de interação com os estudantes. Nesse sentido, estão mecanismos que incluem auxílio à produção, feedback, entre outros. Nesse caso, é necessária revisão humana obrigatória e monitoramento frequente.

• sistemas de tutoria;
• ferramentas de feedback formativo;
• assistentes institucionais;
• apoio à produção textual;
• mecanismos de recomendação acadêmica sem efeito decisório automático.

Foram classificadas como atividades de alto risco aquelas que podem ter impacto na vida acadêmica dos estudantes e restringir direitos, por exemplo, a partir da seleção de alunos por meio da IA. A resolução também cita atividades que envolvam risco de tratamento de dados sensíveis.

• sistemas de correção automatizada de avaliações com repercussão acadêmica;
• 'proctoring biométrico', ou seja, ferramenta que utiliza a IA para verificar características físicas dos estudantes em tempo real;
• perfilização acadêmica individualizada;
• sistemas relacionados à seleção, certificação, concessão de benefícios ou análise disciplinar;
• aplicações que envolvam tratamento de dados pessoais sensíveis ou inferências comportamentais relevantes.

'O juízo avaliativo é do professor, ele não pode ser substituído pela IA. São decisões que afetam o futuro do estudante e tem que haver a mediação humana', afirmou o relator do texto, Celso Niskier. O grau mais alto de alerta, definido pelo CNE como risco excessivo ou incompatível com finalidades educacionais, inclui atividades que, segundo o colegiado, podem ser discriminatórias e resultar em violações de direitos dos estudantes. Nesse sentido, o conselho elenca atividades que promovam perfilamento dos alunos por meio de IA para classificá-los, e também ferramentas que promovam vigilância emocional dos estudantes, entre outros pontos.

• sistemas de pontuação social;
• vigilância emocional;
• exploração de vulnerabilidades de estudantes;
• perfilização psicológica ou biométrica para fins classificatórios ou disciplinares;
• decisões exclusivamente automatizadas com efeitos relevantes sobre promoção, retenção, certificação, permanência, concessão de benefícios ou desligamento.

Para evitar esses riscos, o parecer destaca a importância da atuação dos professores ao longo de todo o processo de uso da inteligência artificial nas escolas e universidades. As diretrizes chamam atenção para a necessidade de protagonismo pedagógico dos docentes neste processo. Após a aprovação, o presidente do CNE, Cesar Callegari, afirmou que a medida representa um marco para a área e demandará engajamento dos sistemas educacionais. 'É um material de grande importância pela complexidade que foi encaminhada, transformando a alta complexidade desse assunto em algo bastante didático. É um avanço importante. Estamos num momento que nunca foi tão importante que tenhamos capacidade de conhecer nosso próprio processo de pensamento. A interação com a máquina, com a ferramenta, exige um passo muito mais ousado', disse.