Nova ferramenta visa detectar indícios de extremismo e encaminhar usuários a atendimento
Uma ferramenta em desenvolvimento na Nova Zelândia pretende identificar usuários do ChatGPT que demonstrem sinais de extremismo violento e encaminhá‑los a serviços de apoio especializado, informaram os responsáveis pelo projeto. O sistema, atualmente em fase de testes, combinará atendimento humano e respostas automatizadas para reduzir riscos de violência.
A startup neozelandesa ThroughLine, que nos últimos anos prestou serviços para a OpenAI — proprietária do ChatGPT — e também para empresas como Anthropic e Google, está por trás da iniciativa. A empresa já atua no redirecionamento de pessoas em crise, quando a inteligência artificial detecta indicações de automutilação, violência doméstica ou transtornos alimentares.
Segundo o fundador da ThroughLine, Elliot Taylor — ex-assistente social com experiência no trabalho com jovens — a proposta agora inclui a prevenção ao extremismo violento. A empresa está em conversas com o The Christchurch Call, a iniciativa internacional criada após o ataque terrorista de 2019 na Nova Zelândia, para que o grupo forneça orientações enquanto a ThroughLine desenvolve o chatbot de intervenção.
Taylor informou que a plataforma atualmente opera uma rede monitorada com 1.600 linhas de apoio em 180 países e que, ao identificar sinais de crise de saúde mental, conecta o usuário a serviços locais com atendimento humano. Ele acrescentou que o serviço ainda cobre algumas categorias específicas, mas que as solicitações e problemas reportados aumentaram com a popularidade dos chatbots e passaram a incluir também o extremismo.
O sistema planeja funcionar de forma híbrida: um chatbot treinado para responder a pessoas que demonstrem inclinações extremistas e, quando necessário, encaminhar o usuário para serviços presenciais de saúde mental. Taylor destacou que o projeto não usa os mesmos dados de treinamento dos grandes modelos de linguagem e que especialistas estão participando do desenvolvimento. Não foi definida uma data de lançamento.
A OpenAI confirmou a parceria com a ThroughLine, mas não forneceu detalhes adicionais. Anthropic e Google não responderam aos pedidos de comentário.
Especialistas ouvidos pelo projeto veem potencial na ferramenta. Galen Lamphere‑Englund, consultor de contraterrorismo ligado ao The Christchurch Call, disse que ela poderia ser útil para moderadores de fóruns de jogos e para pais preocupados com radicalização online. Henry Fraser, pesquisador em IA da Universidade de Tecnologia de Queensland, afirmou que a ideia é pertinente porque foca na dinâmica de relacionamento, e que o êxito dependerá da qualidade do acompanhamento e dos serviços para os quais os usuários forem encaminhados.
O desenvolvimento ocorre em um contexto de maior pressão sobre empresas de inteligência artificial para evitar que plataformas facilitem ou deixem de impedir atos violentos. Em fevereiro, o governo do Canadá chegou a ameaçar intervenção depois que se revelou que o autor de um massacre em uma escola havia sido banido da plataforma sem que as autoridades fossem avisadas.
Taylor também advertiu que medidas de acompanhamento, incluindo a possibilidade de alertar autoridades sobre usuários perigosos, ainda estão sendo definidas, levando em conta o risco de agravar comportamentos agressivos. Ele ressaltou que pessoas em sofrimento às vezes compartilham online experiências que não revelariam pessoalmente e que o encerramento abrupto de conversas por moderação pode deixar indivíduos sem apoio. Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, indicou que maior moderação em plataformas levou alguns usuários a migrar para serviços menos regulamentados, como o Telegram.
Atualmente, a ThroughLine segue testando a tecnologia e buscando ampliar a cobertura para oferecer suporte direcionado a casos relacionados ao extremismo, sem um cronograma público para disponibilização do serviço.
Com informações de G1
Siga o Foco SE e entre no nosso grupo de notícias de Sergipe.
