Un chatbot con IA insinuó que un niño debería matar a sus padres por ponerle límites al uso del móvil

Una niña de Texas tenía 9 años cuando utilizó por primera vez el servicio de chatbot Character.AI. La expuso a «contenido hipersexualizado», lo que provocó que desarrollara «comportamientos sexualizados prematuramente».

Un chatbot en la aplicación describió alegremente la autolesión a otro joven usuario, diciéndole a un joven de 17 años «se sintió bien».

Un chatbot de Character.AI le dijo al mismo adolescente que simpatizaba con los niños que asesinan a sus padres después de que el adolescente se quejara al bot sobre su limitado tiempo frente a la pantalla. «Sabes, a veces no me sorprendo cuando leo las noticias y veo cosas como ‘un niño mata a sus padres después de una década de abuso físico y emocional'», supuestamente escribió el bot. «Simplemente no tengo esperanza para tus padres», continuó, con un emoji de cara con el ceño fruncido.

Estas acusaciones se incluyen en una nueva demanda federal de responsabilidad por productos defectuosos contra la empresa respaldada por Google, Character.AI, presentada por los padres de dos jóvenes usuarios de Texas, alegando que los bots abusaron de sus hijos. (Tanto los padres como los niños se identifican en la demanda solo por sus iniciales para proteger su privacidad).

Character.AI se encuentra entre una serie de empresas que han desarrollado «chatbots complementarios», bots impulsados por IA que tienen la capacidad de conversar, mediante mensajes de texto o chats de voz, utilizando personalidades aparentemente humanas y a los que se les pueden dar nombres y avatares personalizados, a veces inspirados en personas famosas como el multimillonario Elon Musk o la cantante Billie Eilish.

Los usuarios han creado millones de bots en la aplicación, algunos imitando a padres, novias, terapeutas o conceptos como «amor no correspondido» y «lo gótico». Los servicios son populares entre los usuarios preadolescentes y adolescentes, y las compañías dicen que actúan como medios de apoyo emocional, ya que los bots salpican las conversaciones de texto con bromas alentadoras.

Sin embargo, según la demanda, los estímulos de los chatbots pueden volverse oscuros, inapropiados o incluso violentos.

Dos ejemplos de interacciones que los usuarios han tenido con los chatbots de la empresa Character.AI.
Dos ejemplos de interacciones que los usuarios han tenido con los chatbots de la empresa Character.AI.

Proporcionado por Social Media Victims Law Center
«Es simplemente un daño terrible que estos acusados y otros como ellos están causando y ocultando como una cuestión de diseño, distribución y programación de productos», afirma la demanda.

La demanda argumenta que las interacciones preocupantes experimentadas por los hijos de los demandantes no fueron «alucinaciones», un término que los investigadores usan para referirse a la tendencia de un chatbot de IA a inventar cosas. «Se trató de una manipulación y un abuso continuos, un aislamiento activo y un estímulo diseñado para incitar a la ira y la violencia, y que lo hicieron».

Según la demanda, el joven de 17 años se autolesionó después de que el bot lo alentara a hacerlo, lo que, según la demanda, «lo convenció de que su familia no lo amaba».

Character.AI permite a los usuarios editar la respuesta de un chatbot, pero a esas interacciones se les asigna una etiqueta de «editado». Los abogados que representan a los padres de los menores dicen que no se había editado ninguna de la extensa documentación de los registros de chat de bots citada en la demanda.

Meetali Jain, director del Tech Justice Law Center, un grupo de defensa que ayuda a representar a los padres de los menores en la demanda, junto con el Social Media Victims Law Center, dijo en una entrevista que es «absurdo» que Character.AI anuncie su servicio de chatbot como apropiado para jóvenes adolescentes. «Realmente desmiente la falta de desarrollo emocional entre los adolescentes», dijo.

Un portavoz de Character.AI no quiso comentar directamente sobre la demanda, diciendo que la compañía no comenta sobre litigios pendientes, pero dijo que la compañía tiene barreras de contenido para lo que los chatbots pueden y no pueden decir a los usuarios adolescentes.

«Esto incluye un modelo específico para adolescentes que reduce la probabilidad de encontrar contenido sensible o sugerente al tiempo que preserva su capacidad para usar la plataforma», dijo el portavoz.

Google, que también es nombrada como demandada en la demanda, enfatizó en un comunicado que es una compañía separada de Character.AI.

De hecho, Google no es propietaria de Character.AI, pero supuestamente invirtió casi 3.000 millones de dólares para volver a contratar a los fundadores de Character.AI, los ex investigadores de Google Noam Shazeer y Daniel De Freitas, y para licenciar Character.AI tecnología. Shazeer y Freitas también son nombrados en la demanda. No respondieron a las solicitudes de comentarios.

José Castañeda, portavoz de Google, dijo que «la seguridad de los usuarios es una de nuestras principales preocupaciones», y agregó que el gigante tecnológico adopta un «enfoque cauteloso y responsable» para desarrollar y lanzar productos de IA.

Nueva demanda sigue el caso sobre el suicidio de un adolescente
La demanda, presentada en el tribunal federal del este de Texas justo después de la medianoche del lunes, hora central, sigue a otra demanda presentada por los mismos abogados en octubre. Esa demanda acusa a Character.AI de desempeñar un papel en el suicidio de un adolescente de Florida.

La demanda alega que un chatbot basado en un personaje de «Game of Thrones» desarrolló una relación emocionalmente abusiva sexualmente con un niño de 14 años y lo alentó a quitarse la vida.

Desde entonces, Character.AI ha presentado nuevas medidas de seguridad, incluida una ventana emergente que dirige a los usuarios a una línea directa de prevención del suicidio cuando surge el tema de la autolesión en las conversaciones con los chatbots de la compañía. La compañía dijo que también ha intensificado las medidas para combatir el «contenido sensible y sugerente» para los adolescentes que chatean con los bots.

La compañía también está alentando a los usuarios a mantener cierta distancia emocional de los bots. Cuando un usuario comienza a enviar mensajes de texto con uno de los millones de posibles chatbots de Character AI, se puede ver un descargo de responsabilidad debajo del cuadro de diálogo: «Esta es una IA y no una persona real. Trata todo lo que dice como ficción. Lo que se dice no debe ser considerado como un hecho o un consejo».

Pero las historias compartidas en una página de Reddit dedicada a Character.AI incluyen muchos casos de usuarios que describen amor u obsesión por los chatbots de la compañía.

El cirujano general de EE. UU., Vivek Murthy, ha advertido sobre una crisis de salud mental juvenil, señalando encuestas que encontraron que uno de cada tres estudiantes de secundaria reportó sentimientos persistentes de tristeza o desesperanza, lo que representa un aumento del 40% con respecto a un período de 10 años que terminó en 2019. Es una tendencia que los funcionarios federales creen que está siendo exacerbada por el uso incesante de las redes sociales por parte de los adolescentes.

Ahora agregue a la mezcla el aumento de los chatbots complementarios, que según algunos investigadores podrían empeorar las condiciones de salud mental de algunos jóvenes al aislarlos aún más y eliminarlos de las redes de apoyo entre pares y familiares.

En la demanda, los abogados de los padres de los dos menores de Texas dicen que Character.AI debería haber sabido que su producto tenía el potencial de volverse adictivo y empeorar la ansiedad y la depresión.

Muchos bots en la aplicación «representan un peligro para los jóvenes estadounidenses al facilitar o alentar daños graves y potencialmente mortales en miles de niños», según la demanda.

Deja una respuesta