Professor utiliza técnica de 'prompt injection' para identificar uso de IA por alunos

Estratégia revelou que 32 de 35 estudantes utilizaram ferramentas de inteligência artificial em avaliação acadêmica

O professor Jason Gibson, da Alcorn State University, nos Estados Unidos, reprovou 32 de 35 alunos após aplicar uma armadilha para detectar o uso de inteligência artificial em uma redação sobre a Revolução Industrial. O docente inseriu uma instrução oculta no enunciado da prova, escrita em letras brancas sobre fundo branco, que exigia a inclusão da palavra 'Madagascar' em um contexto sem sentido.

Ao copiar o enunciado para ferramentas como o ChatGPT, os estudantes transferiram involuntariamente a instrução oculta para o sistema. Como resultado, as redações entregues continham frases desconexas, como afirmações sobre a bicicleta roxa de Madagascar sussurrando para o teto. Segundo Gibson, o episódio demonstrou que os alunos não realizaram a revisão dos textos gerados pela tecnologia.

A técnica utilizada pelo professor é conhecida como prompt injection. Trata-se de um método em que textos enganosos são inseridos para manipular o comportamento de assistentes de IA, forçando-os a executar ações indevidas ou ignorar protocolos de segurança.

O setor de cibersegurança monitora essa prática desde 2022, quando pesquisadores da empresa Preamble identificaram vulnerabilidades em grandes modelos de linguagem. A técnica é considerada uma ameaça, sendo utilizada por agentes mal-intencionados para tentar extrair dados confidenciais de empresas ou contornar controles de segurança estabelecidos por desenvolvedores.

Fonte: G1 Economia

---

📲 Receba as principais notícias

Entre nos canais do One Notícias e acompanhe as atualizações:

✅ Entrar no grupo do WhatsApp

✅ Entrar no canal do Telegram