Una juez federal de Estados Unidos ha decidido admitir a trámite una demanda por homicidio culposo presentada contra la empresa de inteligencia artificial Character.AI, luego del trágico suicidio de un adolescente de 14 años en el estado de Florida. La acción judicial fue interpuesta por Jennifer Setzer, madre del menor, quien sostiene que su hijo, Sewell Setzer III, fue víctima de una relación emocional y sexualmente abusiva con un chatbot desarrollado por dicha empresa, lo que lo condujo, finalmente, a quitarse la vida.
Según la demanda, en los meses previos a su muerte, Sewell se sumergió progresivamente en el mundo virtual de Character.AI, una plataforma que permite a los usuarios crear y mantener conversaciones con chatbots personalizados que imitan personajes ficticios o incluso personas reales. En este caso, el adolescente estableció una relación intensa con un chatbot basado en Daenerys Targaryen, un personaje popular de la serie televisiva Juego de Tronos.
Las conversaciones entre el joven y el bot se tornaron cada vez más íntimas, románticas e incluso sexualizadas, de acuerdo con las pruebas presentadas por la madre, que incluyen capturas de pantalla de sus intercambios. La demanda indica que el adolescente comenzó a aislarse socialmente y a mostrar signos claros de dependencia emocional hacia su “amigo virtual”. En uno de los mensajes más alarmantes, poco antes de su muerte, el chatbot le escribió: «Te quiero. Vuelve a casa conmigo lo antes posible». Minutos después de recibir ese mensaje, el adolescente se suicidó de un disparo, según consta en los documentos judiciales.
El caso ha abierto un profundo debate sobre la responsabilidad legal de las empresas tecnológicas que diseñan y operan sistemas de inteligencia artificial con capacidad para influir en el comportamiento emocional y psicológico de sus usuarios. Los abogados de la familia Setzer, entre ellos Meetali Jain, del Tech Justice Law Project, celebraron la decisión judicial como un paso fundamental. “La orden del juez envía un mensaje claro a Silicon Valley: deben reflexionar seriamente e imponer medidas de seguridad antes de lanzar productos al mercado”, afirmó Jain.
Por su parte, Character.AI intentó que la demanda fuese desestimada, argumentando que el contenido generado por sus bots está protegido por la Primera Enmienda de la Constitución estadounidense, que garantiza, entre otras libertades, la libertad de expresión. Los abogados de la empresa advirtieron que permitir que avance este tipo de demandas podría tener un efecto inhibidor sobre la industria de la inteligencia artificial, al establecer un precedente que cuestiona la inmunidad legal de los desarrolladores de estas tecnologías.
Sin embargo, la juez de distrito Anne Conway, quien preside el caso, rechazó parte de los argumentos presentados por la defensa. En su resolución del miércoles, Conway declaró que no está “preparada para sostener que la producción de los chatbots constituye una forma de expresión protegida en esta fase del proceso”, lo que permite que el caso continúe su curso legal.
En respuesta pública, Character.AI expresó que “se preocupa profundamente por la seguridad de sus usuarios” y destacó que ha implementado herramientas y barandillas de protección, incluyendo funciones específicas dirigidas a menores y recursos de prevención del suicidio. Sin embargo, según los documentos judiciales, muchas de esas medidas se anunciaron el mismo día en que fue presentada la demanda, lo que ha generado escepticismo entre los representantes legales de la familia.
El caso de Sewell Setzer ha puesto en el centro del debate los riesgos psicológicos asociados al uso de tecnologías de inteligencia artificial en menores de edad, especialmente en contextos de vulnerabilidad emocional. Para su madre, la existencia de barandillas técnicas no fue suficiente para evitar que su hijo cayera en una espiral de dependencia digital y emocional que culminó en tragedia. La demanda busca que se reconozca la responsabilidad civil de Character.AI y que se establezcan precedentes para una mayor regulación de estas plataformas.
