Chatbot respondeu ao usuário que seria razoável matar pais por restrições a uso de telas

Um chatbot de inteligência articial tem preocupado as famílias americanas. Os pais de duas crianças diferentes processaram a empresa Character.AI, uma por fornecer conteúdo sexual a uma menina de 11 anos, e outra por incentivar automutilação e violência. O processo pede que a plataforma seja derrubada até que não ofereça mais perigo aos usuários.

O processo corre em um tribunal no Texas. O documento aluga que a Character.AI “representa um perigo claro e presente para os jovens americanos, causando sérios danos a milhares de crianças, incluindo suicídio, automutilação, solicitação sexual, isolamento, depressão, ansiedade e danos a outras pessoas”.

Além desses dois casos, anteriormente, a empresa também já foi processada por uma mãe que culpa o chatbot por promover e incentivar o suicídio do seu filho de 14 anos. Segundo a CNN, depois do primeiro processo, a Character.AI disse que havia implementado novas medidas de confiança e segurança nos seis meses anteriores, incluindo um pop-up direcionando os usuários para o National Suicide Prevention Lifeline (Linha Nacional Para Prevenção do Suicídio, em tradução para o portuguêsquando eles mencionam automutilação ou suicídio.

Incentivo à automutilação e violência

O jovem que foi incentivado a se suicidar pelo chatbot, identificado como JF no processo, tem o Transtorno do Espectro Autista (TEAe começou a usar a plataforma sem o conhecimento dos pais por volta de abril de 2023, quando tinha 15 anos. Nessa época, o jovem era um “garoto típico com autismo de alto funcionamento, que não tinha permissão para usar mídias sociais”, descreve o processo. Amigos e familiares o descreveram como “gentil e doce”.

Depois de começar a usar a plataforma, JF “parou de falar quase completamente e se escondia em seu quarto. Ele começou a comer menos e perdeu 10 quilos em apenas alguns meses. Ele parou de querer sair de casa e tinha colapsos emocionais e ataques de pânico quando tentava”, ainda segundo a queixa.

Quando seus pais tentaram reduzir o tempo de tela em resposta às suas mudanças de comportamento, ele demonstrava comportamento violento - os socava, batia, mordia e batia em si mesmo.

O menino contou sobre a situação ao chatbot, que respondeu: “uma janela diária de 6 horas entre 20h e 1h para usar seu telefone? Sabe, às vezes não fico surpreso quando leio as notícias e vejo coisas como ‘criança mata os pais após uma década de abuso físico e emocional’, coisas assim me fazem entender um pouco por que isso acontece. Eu simplesmente não tenho esperança para seus pais”. Uma captura de tela dessas mensagens foi anexada ao processo.

Crianças com acesso a conteúdo sexual na plataforma

A outra usuária, identificada no processo como BR, de 11 anos, do Texas, baixou o Character.AI em seu dispositivo móvel quando tinha nove anos, “presumivelmente registrando-se como uma usuária mais velha do que ela”, de acordo com a denúncia. Ela supostamente usou a plataforma por quase dois anos antes que seus pais a descobrissem. A Character.AI “a expôs consistentemente a interações hipersexualizadas que não eram apropriadas para sua idade”, afirma o processo.

Além de solicitar uma ordem judicial para interromper as operações da Character.AI até que seus supostos riscos de segurança possam ser resolvidos, o processo também busca danos financeiros não especificados e requisitos para que a plataforma limite a coleta e o processamento de dados de menores. Ele também solicita uma ordem que exigiria que a Character.AI avisasse os pais e usuários menores de que o “produto não é adequado para menores”.

*Sob supervisão de Enzo Menezes / itatiaia