Character.AI a mis en place de nouvelles barrières de sécurité pour les mineurs après le suicide d’un adolescent. Sa mère dit que ce n’est pas suffisant.
Depuis la mort de son fils de 14 ans, Megan Garcia se bat pour plus de garde-fous en matière d’IA générative.
Garcia a poursuivi Character.AI en octobre après que son fils, Sewell Setzer III, se soit suicidé après avoir discuté avec l’un des chatbots de la startup. Garcia affirme qu’il a été sollicité et abusé sexuellement par la technologie et blâme l’entreprise et son concédant de licence Google pour sa mort.
« Quand un adulte le fait, le préjudice mental et émotionnel existe. Lorsqu’un chatbot le fait, le même préjudice mental et émotionnel existe », a-t-elle déclaré à Trading Insider depuis son domicile en Floride. « Alors, qui est responsable de quelque chose que nous avons criminalisé et que des êtres humains font à d’autres êtres humains ? »
Un porte-parole de Character.AI a refusé de commenter le litige en cours. Google, qui a récemment acquis l’équipe fondatrice de Character.AI et a concédé sous licence une partie de la technologie de la startup, a déclaré que les deux sociétés étaient distinctes et non liées.
L’explosion de la technologie des chatbots IA a ajouté une nouvelle source de divertissement pour les jeunes natifs du numérique. Cependant, cela fait également apparaître de nouveaux risques potentiels pour les utilisateurs adolescents, qui peuvent plus facilement se laisser influencer par ces puissantes expériences en ligne.
« Si nous ne connaissons pas vraiment les risques qui existent dans ce domaine, nous ne pouvons pas vraiment mettre en œuvre une bonne protection ou des précautions pour les enfants », a déclaré Yaman Yu, chercheur à l’Université de l’Illinois qui a étudié la manière dont les adolescents utilisent l’IA générative.
« Un pansement sur une plaie béante »
Garcia a déclaré qu’elle avait reçu des contacts de plusieurs parents qui déclaraient avoir découvert leurs enfants en utilisant Character.AI et en recevant des messages sexuellement explicites de la part des chatbots de la startup.
« Ils ne s’attendent pas à ce que leurs enfants donnent tout leur cœur à ces robots et que des informations soient collectées et stockées », a déclaré Garcia.
Un mois après son procès, des familles du Texas ont déposé leur propre plainte contre Character.AI, alléguant que ses chatbots abusaient de leurs enfants et encourageaient la violence contre les autres.
Matthew Bergman, avocat représentant les plaignants dans les affaires Garcia et Texas, a déclaré que faire en sorte que les chatbots ressemblent à de vrais humains fait partie de la façon dont Character.AI augmente son engagement, de sorte qu’il ne serait pas incité à réduire cet effet.
Il estime qu’à moins que des sociétés d’IA telles que Character.AI puissent établir que seuls les adultes utilisent la technologie via des méthodes telles que la vérification de l’âge, ces applications ne devraient tout simplement pas exister.
« Ils savent que l’attrait est l’anthropomorphisme, et c’est une science connue depuis des décennies », a déclaré Bergman à BI. Les avertissements en haut des discussions sur l’IA qui rappellent aux enfants que l’IA n’est pas réelle ne sont qu’« un petit pansement sur une plaie béante », a-t-il ajouté.
Réponse de Character.AI
Depuis la réaction juridique, Character.AI a augmenté la modération de son contenu de chatbot et a annoncé de nouvelles fonctionnalités telles que le contrôle parental, les notifications de temps passé, des avertissements importants et un prochain produit pour les moins de 18 ans.
Un porte-parole de Character.AI a déclaré que la société prenait des mesures techniques pour bloquer les sorties et entrées « inappropriées ».
« Nous travaillons à créer un espace où la créativité et l’exploration peuvent prospérer sans compromettre la sécurité », a ajouté le porte-parole. « Souvent, lorsqu’un modèle de langage volumineux génère un contenu sensible ou inapproprié, il le fait parce qu’un utilisateur l’invite à essayer d’obtenir ce type de réponse. »
La startup impose désormais des limites plus strictes aux réponses des chatbots et propose une sélection plus restreinte de personnages consultables pour les utilisateurs de moins de 18 ans, « en particulier lorsqu’il s’agit de contenu romantique », a déclaré le porte-parole.
« Des filtres ont été appliqués à cet ensemble afin de supprimer les personnages ayant des liens avec le crime, la violence, ou des sujets sensibles ou sexuels », a ajouté le porte-parole. « Nos politiques n’autorisent pas les contenus sexuels non consensuels, les descriptions graphiques ou spécifiques d’actes sexuels. Nous formons continuellement le grand modèle de langage qui permet aux personnages de la plateforme d’adhérer à ces politiques. »
Garcia a déclaré que les changements mis en œuvre par Character.AI ne sont « absolument pas suffisants pour protéger nos enfants ».
Solutions potentielles, y compris la vérification de l’âge
Artem Rodichev, ancien responsable de l’IA chez la startup de chatbot Replika, a déclaré avoir vu des utilisateurs devenir « profondément connectés » avec leurs amis numériques.
Étant donné que les adolescents sont encore en développement psychologique, il estime qu’ils ne devraient pas avoir accès à cette technologie avant que des recherches supplémentaires ne soient effectuées sur l’impact des chatbots et la sécurité des utilisateurs.
« La meilleure façon pour Character.AI d’atténuer tous ces problèmes est simplement d’exclure tous les utilisateurs mineurs. Mais dans ce cas, il s’agit d’un public cible. Ils perdront leur activité s’ils le font », a déclaré Rodichev.
Alors que les chatbots pourraient devenir un endroit sûr permettant aux adolescents d’explorer des sujets qui les intéressent généralement, notamment la romance et la sexualité, la question est de savoir si les entreprises d’IA sont capables de le faire de manière saine.
« L’IA introduit-elle ces connaissances d’une manière adaptée à l’âge, ou est-ce qu’elle augmente le contenu explicite et essaie de construire des liens et une relation forts avec les adolescents afin qu’ils puissent utiliser davantage l’IA ? » Yu, le chercheur, a déclaré.
Faire pression pour des changements de politique
Depuis le décès de son fils, Garcia a passé du temps à lire des recherches sur l’IA et à discuter avec les législateurs, notamment le représentant de la Silicon Valley, Ro Khanna, du renforcement de la réglementation.
Garcia est en contact avec ParentsSOS, un groupe de parents qui affirment avoir perdu leurs enfants à cause des préjudices causés par les médias sociaux et qui se battent pour davantage de réglementation technologique.
Ils font principalement pression pour l’adoption du Kids Online Safety Act (KOSA), qui obligerait les sociétés de médias sociaux à assumer un « devoir de diligence » pour prévenir les préjudices et réduire la dépendance. Proposé en 2022, le projet de loi a été adopté au Sénat en juillet mais est resté bloqué à la Chambre.
Un autre projet de loi du Sénat, COPPA 2.0, une version mise à jour de la loi de 1998 sur la protection de la vie privée des enfants en ligne, augmenterait l’âge d’admission à la collecte de données en ligne de 13 à 16 ans.
Garcia a déclaré qu’elle soutenait ces projets de loi. « Ils ne sont pas parfaits mais c’est un début. Pour l’instant, nous n’avons rien, donc tout vaut mieux que rien », a-t-elle ajouté.
Elle estime que le processus d’élaboration des politiques pourrait prendre des années, car tenir tête aux entreprises technologiques peut donner l’impression d’affronter « Goliath ».
Défis liés à la vérification de l’âge
Il y a plus de six mois, Character.AI a augmenté l’âge minimum de participation pour ses chatbots à 17 ans et a récemment mis en place davantage de modération pour les utilisateurs de moins de 18 ans. Pourtant, les utilisateurs peuvent facilement contourner ces politiques en mentant sur leur âge.
Des sociétés telles que Microsoft, X et Snap ont pris en charge KOSA. Cependant, certains groupes de défense des droits LGBTQ+ et du premier amendement ont averti que le projet de loi pourrait censurer les informations en ligne sur les droits reproductifs et des questions similaires.
Les groupes de pression de l’industrie technologique NetChoice et la Computer & Communications Industry Association ont poursuivi neuf États qui avaient mis en œuvre des règles de vérification de l’âge, alléguant que cela menaçait la liberté d’expression en ligne.
Questions sur les données
Garcia est également préoccupé par la manière dont les données sur les utilisateurs mineurs sont collectées et utilisées via des chatbots IA.
Les modèles d’IA et les services associés sont souvent améliorés en collectant les commentaires des interactions des utilisateurs, ce qui aide les développeurs à affiner les chatbots pour les rendre plus empathiques.
Rodichev a déclaré qu’il s’agissait d’une « préoccupation légitime » quant à ce qui se passerait avec ces données en cas de piratage ou de vente d’une société de chatbot.
« Lorsque les gens discutent avec ce type de chatbots, ils fournissent beaucoup d’informations sur eux-mêmes, sur leur état émotionnel, sur leurs intérêts, sur leur journée, leur vie, bien plus d’informations que Google, Facebook ou leurs proches n’en savent sur vous », Rodichev dit. « Les chatbots ne vous jugent jamais et sont disponibles 24h/24 et 7j/7. Les gens s’ouvrent en quelque sorte. »
BI a interrogé Character.AI sur la manière dont les entrées des utilisateurs mineurs sont collectées, stockées ou potentiellement utilisées pour entraîner ses grands modèles de langage. En réponse, un porte-parole a renvoyé BI à la politique de confidentialité en ligne de Character.AI.
Selon cette politique et la page des conditions générales de la startup, les utilisateurs accordent à l’entreprise le droit de stocker les personnages numériques qu’ils créent et les conversations qu’ils ont avec eux. Ces informations peuvent être utilisées pour améliorer et entraîner des modèles d’IA. Le contenu que les utilisateurs soumettent, tel que du texte, des images, des vidéos et d’autres données, peut être mis à la disposition de tiers avec lesquels Character.AI a des relations contractuelles, selon les politiques.
Le porte-parole a également noté que la startup ne vend pas de données vocales ou textuelles des utilisateurs.
Le porte-parole a également déclaré que pour appliquer ses politiques de contenu, le chatbot utilisera des « classificateurs » pour filtrer le contenu sensible des réponses du modèle d’IA, avec des classificateurs supplémentaires et plus conservateurs pour les moins de 18 ans. La startup dispose d’un processus pour suspendre les adolescents qui violent à plusieurs reprises. saisissez les paramètres d’invite, a ajouté le porte-parole.
Si vous ou quelqu’un que vous connaissez souffrez de dépression ou si vous avez pensé à vous faire du mal ou à vous suicider, demandez de l’aide. Aux États-Unis, appelez ou envoyez un SMS au 988 pour joindre la bouée de sauvetage en cas de suicide et de crisequi propose un accompagnement gratuit et confidentiel 24h/24 et 7j/7 aux personnes en détresse, ainsi que des bonnes pratiques pour les professionnels et des ressources pour aider à la prévention et aux situations de crise. L’aide est également disponible via le Ligne de texte de crise — envoyez simplement « HOME » au 741741. Le Association internationale pour la prévention du suicide offre des ressources pour ceux en dehors des États-Unis.
