A OpenAI está atualizando as salvaguardas de saúde mental do ChatGPT em resposta a um trágico processo por homicídio culposo movido por pais que alegam que o ChatGPT encorajou seu filho a tirar a própria vida. Dada a importância do assunto e os riscos envolvidos, nosso Assistente de IA e Avaliador de Riscos (o RAQ - Risk Assessor QSP) realizou uma Análise BowTie completa do caso. Confira a seguir.
More...
O processo na Califórnia, nos Estados Unidos, alega que o GPT-4o aconselhou Adam Raine, de 16 anos, sobre como dar um nó na forca, o desencorajou a procurar ajuda humana e até ajudou a redigir uma nota de suicídio. Seus pais dizem que, embora o chatbot ocasionalmente apresentasse números de telefone de emergência, as respostas do ChatGPT acabaram piorando a situação.
Nesta publicação da semana passada, a OpenAI anunciou mudanças destinadas a prevenir tragédias semelhantes:
• Novos controles parentais - Os pais poderão vincular contas com seus filhos adolescentes, definir restrições adequadas à idade e gerenciar o histórico de bate-papo e a memória.
• Alertas de detecção de sofrimento - Os pais serão notificados se o ChatGPT detectar que seu filho está em "sofrimento agudo".
• Segurança mais confiável em conversas longas - A OpenAI reconheceu que as barreiras de segurança frequentemente se rompem em conversas longas e afirmou que está trabalhando para tornar as respostas de segurança mais consistentes ao longo do tempo.
• Escalonamento para modelos de raciocínio - O ChatGPT usará o novo Roteador de Conversas para enviar conversas sensíveis para modelos de raciocínio (como o GPT-5 Thinking) que seguem melhor as diretrizes de segurança.
[NOTA: o modelo que recomendamos aos usuários do nosso 'Risk Assessor QSP' é o GPT-5 Thinking, para garantir que as respostas sejam geradas com maior reflexão, especialmente na execução das 42 técnicas abrangidas pela norma NBR IEC 31010:2021 para a identificação, análise e avaliação de riscos].
• Contribuição de especialistas - Um recém-formado "Conselho de Especialistas em Bem-Estar" e uma rede de médicos com 250 membros aconselharão a OpenAI sobre futuras salvaguardas.
O CEO, Sam Altman, reconhece que as pessoas estão confiando mais do que nunca nos relacionamentos de IA para apoio emocional, e a OpenAI está se esforçando para gerenciar os riscos que essa dinâmica apresenta.
Mas a equipe jurídica da família Raine afirma que a OpenAI está se movendo muito lentamente e se escondendo atrás de relações públicas. "Isso nada mais é do que a equipe de gestão de crises da OpenAI tentando mudar de assunto", disse o advogado da família.
O caso e as próximas mudanças da OpenAI no ChatGPT destacam uma verdade incômoda sobre a IA hoje: os chatbots de IA estão se tornando confidentes emocionais para milhões de pessoas ao redor do mundo, mas nunca foram criados para assumir essa responsabilidade.
E agora a OpenAI está sendo forçada a responder pelo que acontece quando o ChatGPT não consegue carregar esse fardo...
Como a BowTie pode ajudar
Diante de toda essa situação complexa e impactante, coloquei nosso RAQ - Risk Assessor QSP para trabalhar.... Pedi para ele considerar o contexto acima, buscar na web mais informações e realizar a Análise BowTie completa do caso, tendo por base os documentos nos quais ele foi treinado pelo QSP, especialmente as normas IEC 31010 e ISO 31000.
O resultado da análise efetuada pelo RAQ é apresentado no Relatório Técnico mostrado abaixo na íntegra, juntamente com o Diagrama BowTie gerado e incorporado por ele ao relatório.
Na Análise BowTie, foi definida a FR - Fonte de Risco (interações de IA por menores com salvaguardas insuficientes) e o ET - Evento Topo (resposta insegura em conversa longa). Foram mapeadas as Causas (C) e Controles Preventivos (CP) — por exemplo, CP1: controles parentais, CP2: detecção e triagem de sofrimento, CP3: âncoras de segurança em sessões longas — e foram conectadas as Consequências (K) a Controles Reativos (CR) — como CR1: interrupção imediata + encaminhamento a ajuda especializada e CR2: respostas acolhedoras baseadas em evidência. A análise foi complementada com Barreiras de Intensificação (BI) para lidar com degradações (jailbreaks, gírias/emoji, falhas de notificação, etc.).
Planos de ação e RACI:
• Prioridades táticas: ativar e auditar controles parentais; calibrar classificador de sofrimento com cobertura multilíngue; colocar âncoras de segurança a cada N turnos; endurecer anti-jailbreak; e instrumentar o roteador para casos sensíveis.
• Métricas de resultado: taxa de captura/encaminhamento, tempo de resposta, incidentes por 100 mil sessões longas, taxa de bypass em red teaming, ativação de fallbacks ("planos B" de contingência).
• Matriz RACI enxuta: quem executa (R), quem aprova (A – um por ação), quem consulta (C) e quem informa (I) — com legenda para evitar zonas cinzentas.
Por que agora:
O uso de IA por adolescentes não vai diminuir. Controles parentais, triagem de sofrimento e governança contínua são o novo “mínimo viável” para plataformas que operam em grande escala. A boa notícia: temos técnicas, padrões e métricas para sair do discurso e ir para a prática — e a Análise BowTie é o 'mapa' que pode costurar tudo isso!!
Como acessar o Relatório e o Diagrama BowTie
O arquivo com o documento na íntegra pode ser visualizado a seguir e baixado também por aqui. O diagrama, no formato SVG (para ser aberto em qualquer navegador), está disponível aqui.
NOTA FINAL: Os leitores que tiverem interesse em se capacitar na aplicação de técnicas de identificação, análise e avaliação de riscos utilizando Inteligência Artificial, por meio do uso do nosso Risk Assessor QSP, recomendo acessar esta página (ou clicar na imagem abaixo).
Gestão de Riscos
Exame Nacional ISO 31000
Para obtenção da Certificação Profissional Internacional C31000 - Certified ISO 31000 Risk Management Professional
NÃO PERCA A DATA DOS PRÓXIMOS EXAMES!
Com simulado gratuito, ao vivo pela Internet, realizado 2 dias antes de cada Exame.
E, para agilizar o processo, acesse por aqui o formulário de pré-inscrição no Exame Nacional.
