Character.AI prohibirá que los menores chateen con la IA 

La plataforma Character.AI anunció que prohibirá el acceso al chat a los menores de 18 años, una decisión que llega después de que se conociera una demanda contra la compañía por el suicidio de un adolescente de 14 años que se apegó emocionalmente a su chatbot. La empresa dijo que promoverá que los usuarios más jóvenes usen herramientas alternativas como la creación de videos, historias y transmisiones con personajes de IA. La prohibición comenzará el 25 de noviembre. Hasta entonces, limitará a dos horas por día el uso del chat a los menores de edad.

«Estos son pasos extraordinarios para nuestra compañía, y, en muchos aspectos, son más conservadores que los de nuestros pares«, dijo Character.AI en un comunicado. «Pero creemos que es lo que debemos hacer». Character.AI permite a los usuarios –muchos de ellos adolescentes– interactuar con personajes creados por IA como si fueran sus confidentes o novios. 

El adolescente Sewell Setzer III se disparó un tiro en febrero después de meses de intercambios íntimos con un chatbot inspirado en el personaje de Daenerys Targaryen de la serie Game of Thrones, según la demanda presentada por su madre, Megan Garcia, contra Character.AI. La compañía dijo que tomó esta decisión después de leer «informes recientes que plantean preguntas» de reguladores y expertos en seguridad sobre el impacto que tiene sobre los adolescentes la interacción con la IA. 

Megan García cree que Character.AI es responsable de la muerte de su hijo, de 14 años, Sewell Setzer III, según una demanda que presentó contra la empresa. Setzer envió mensajes al bot en los momentos antes de morir, alega ella. “Quiero que entiendan que esta es una plataforma que los diseñadores eligieron lanzar sin las barreras de protección, medidas de seguridad o pruebas adecuadas, y es un producto diseñado para mantener a nuestros hijos adictos y manipularlos”, dijo García. Acusó a Character.AI por comercializar su tecnología como una “IA que se siente viva”, pero falló en implementar medidas de seguridad adecuadas para evitar que su hijo desarrollara una relación inapropiada con un chatbot que lo llevó a alejarse de su familia. La demanda decía que la plataforma no respondió adecuadamente cuando Setzer comenzó a expresar pensamientos de autolesión al bot.

Un desenlace fatal

Setzer comenzó a usar Character.AI en abril de 2023, poco después de su cumpleaños 14,. Cuando García escuchó que él estaba interactuando con un chatbot de IA, dijo que pensó que era algo parecido a un videojuego. Pero Setzer se volvió “notablemente retraído, pasaba cada vez más tiempo solo en su habitación y comenzó a sufrir de baja autoestima. Incluso dejó el equipo de baloncesto Junior Varsity en la escuela”. Cuando comenzó a tener problemas en la escuela, sus padres comenzaron a restringir su tiempo frente a la pantalla y le quitaban el teléfono como castigo. Pero García no sabía que su hijo estaba teniendo conversaciones extensas con los chatbots de Character.AI.

Character.AI se diferencia de otros chatbots de IA como ChatGPT en que los usuarios pueden hablar con una variedad de chatbots diferentes, a menudo modelados según celebridades y personajes ficticios, o crear los suyos propios. Y los bots de Character.AI responden con señales conversacionales similares a las humanas, agregando referencias a expresiones faciales o gestos en sus respuestas. Muchas de las conversaciones de Setzer con los bots de Character.AI eran sexualmente explícitas, algo que García dijo que fue “desgarrador de leer”. “No tenía idea de que había un lugar donde un niño puede iniciar sesión y tener esas conversaciones, conversaciones muy sexuales, con un chatbot de IA”, dijo. “No creo que ningún padre aprobaría eso”.

Hernán Borisonik, investigador del Conicet, profesor de la UNSAM, explicó a Página/12 que la acción de la empresa es una medida necesaria, pero que tal vez llega tarde: «es un momento donde ya muchos lazos sociales o psicológicos se arman en relación a inteligencias artificiales, a plataformas, a redes sociales. Hay algo de la subjetividad que ya está un poco construido en ese sentido, pero siempre me parece que son valiosos los avances regulatorios, sobre todo en este momento donde empiezan a plantearse dudas o posibilidades que van más allá de una ´interacción´ más limpia con los chatbots; se estaba rumoreando o preanunciando que era posible que ChatGPT también lance un chat erótico para mayores de 18 años. El asunto es cómo se arma el vínculo con estas inteligencias artificiales de una forma muy antropomorfizada que implican un gasto energético subjetivo grande para los usuarios, sobre todo para los muy vulnerables que son los chicos«.

Este año hubo varios casos de suicidios vinculados a la interacción con chatbots de IA, lo que llevó a OpenAI, creador de ChatGPT, y otras empresas a implementar medidas de protección de los usuarios.