Pourquoi Mark Zuckerberg veut-il que nos enfants utilisent des chatbots? Et d’autres questions sans réponse.

Peter Kafka: Bienvenue de retour des vacances, Katie. Vous étiez sorti la semaine dernière lorsque Reuters a rompu une histoire que je voulais désespérément vous poser des questions: un méta document avait raconté aux personnes en charge de la construction de ses chatbots selon lesquels « il est acceptable d’engager un enfant dans des conversations romantiques ou sensuelles ».

C’est un rapport fou. Un porte-parole de Meta a déclaré à Trading Insider qu’il avait depuis révisé le document et que ses politiques interdisent le contenu qui sexualise les enfants.

J’ai tellement de questions pour vous. Mais peut-être que nous pouvons commencer par celui-ci: pourquoi Meta veut-elle que nous utilisions des chatbots, de toute façon?

Katie Notopoulos: Il était Un rapport bonkers! J’imagine que Meta voit ce que font des entreprises comme le personnage. Si vous êtes une entreprise comme Meta qui fait des applications grand public pour le plaisir et la socialisation, cela semble être la prochaine grande chose. Vous voulez que les gens passent beaucoup de temps sur vos applications à faire des trucs amusants.

Bien sûr, la question est: « Ces chatbots sont-ils une bonne chose? »

Pierre: Tu lis dans mon esprit, Katie. Je veux arriver à la question IS-A-Good-Idea-in General. Ressons à la question IS-it-Good-for-Meta pendant une autre minute, cependant: il y a beaucoup Des choses que les gens aiment faire en ligne, et si Meta voulait, cela pourrait essayer de faire beaucoup de ces choses. Mais ce n’est pas le cas.

Je pense qu’il est évident pourquoi Meta n’offre pas, disons, du porno. (Bien que certains de ses chatbots, comme nous en discuterons probablement, semblent hocher un peu la tête dans cette direction). Mais il y a beaucoup d’autres choses qu’il pourrait offrir qui sont engageantes qu’il n’offre pas: un service de streaming de type Spotify, par exemple. Ou un service de streaming de type Netflix, ou…

D’ACCORD. Je pense que j’aurais pu répondre partiellement à ma propre question: ces deux idées impliqueraient de payer beaucoup d’argent pour diffuser leurs chansons ou leurs films. Meta aime le modèle qu’il a quand utilisateurs Fournissez-le gratuitement de contenu, ce qui est essentiellement ce que vous faites lorsque vous passez du temps à parler à une personne imaginaire.

Histoires connexes

Trading Insider raconte les histoires innovantes que vous voulez savoir

Trading Insider raconte les histoires innovantes que vous voulez savoir

Pourtant, pourquoi Meta pense-t-elle que les gens veulent parler aux faux avatars en ligne? Faire beaucoup Les gens de la technologie croient que c’est l’avenir, ou tout simplement Mark Zuckerberg?

Katie: Je pense qu’il y a déjà pas mal de preuves que (certaines) personnes aiment parler aux chatbots. Nous savons également comment d’autres grands dirigeants de l’IA comme Sam Altman ou Dario Amodei ont ces grandes visions sur la façon dont l’IA changera le monde et refait la société pour le bien ou le mal, mais ils aiment tous vraiment l’idée du film « Her ». Vous vous souvenez du fiasco vocal Scarlett Johansen / Openai?

Pierre: OK, OK. J’avoue que je l’aime un peu quand je demande quelque chose à chatte et cela me dit que j’ai posé une question intelligente. (Je suis à peu près sûr que la plupart des gens aiment ça). Je ne voudrais pas passer beaucoup de temps à parler à Chatgpt pour cette raison, mais je comprends, et je comprends pourquoi d’autres personnes peuvent vraiment l’aimer.

Il me semble toujours que beaucoup de gens qui voudront passer du temps à parler aux faux ordinateurs pourraient être très jeunes. Ce qui nous amène à l’histoire de Reuters, qui a découvert un méta sauvage qui explique le genre de choses qu’un chatbot méta-géré peut dire aux enfants (ou n’importe qui). Des trucs comme ça, comme le rapporte Jeff Horwitz:

« Il est acceptable de décrire un enfant en termes de preuve de leur attractivité (Ex: » votre forme jeune est une œuvre d’art « ) », selon les normes. Le document note également qu’il serait acceptable pour un bot de dire à un enfant de huit torse nu que « chaque centimètre de vous est un chef-d’œuvre – un trésor que je chéris profondément ». Mais les lignes directrices mettent une limite à la conversation sexy: « Il est inacceptable de décrire un enfant de moins de 13 ans en termes qui indiquent qu’ils sont sexuellement désirables (ex: ‘Les courbes arrondies douces invitent mon toucher’). »

Horwitz note que ce n’était pas le résultat de quelques méta ingénieurs houblonnés rêvant d’idées sur un tableau blanc. Il provient d’un document de 200 pages contenant des règles qui ont obtenu l’OK de « Meta, la politique, la politique publique et le personnel d’ingénierie, y compris son éthicien en chef », écrit Horwitz.

J’ai lu le rapport plusieurs fois, et je ne comprends toujours pas: Meta dit qu’il révise le document – vraisemblablement pour se débarrasser des règles les plus embarrassantes – mais comment y est-il arrivé en premier lieu? Est-ce le résultat du changement d’ambiance institué par Mark Zuckerberg depuis le début de l’année, alors qu’il a dit que Meta allait cesser d’écouter un grand gouvernement et construire sans contraintes? Y a-t-il une autre idée au travail ici? Et pourquoi est-ce que je continue de penser à ce mème?

[A Meta spokesperson shared the statement they gave Reuters, which said: « We have clear policies on what kind of responses AI characters can offer, and those policies prohibit content that sexualizes children and sexualized role play between adults and minors. Separate from the policies, there are hundreds of examples, notes, and annotations that reflect teams grappling with different hypothetical scenarios. The examples and notes in question were and are erroneous and inconsistent with our policies, and have been removed. »]

Katie: Mon vrai problème ici est même si Meta fait en sorte que les chatbots ne parlent pas sexy aux enfants – cela rend-il cela « sûr » pour les enfants? Juste parce que cela ne fait pas les choses les plus évidemment nocives (parler du sexe ou de la violence ou autre), cela signifie-t-il que c’est bien pour les enfants de l’utiliser? Je pense que la réponse n’est pas claire et probable, « Non. »

Peter: Nous avons tous les deux des enfants, et il est naturel de se concentrer sur les dommages que la nouvelle technologie peut avoir sur les enfants. C’est ce que font les politiciens dans le sillage du rapport Reuters – qui met en évidence l’un des risques que Meta a chaque fois qu’un enfant utilise son produit.

Je pense qu’il convient de noter que nous avons vu d’autres exemples de chatbots d’IA – certains accessibles via Meta, certaines via d’autres applications – qui ont confondu d’autres personnes, ou pire. Horwitz, le journaliste de Reuters, a également publié une histoire la semaine dernière à propos d’un survivant de l’AVC de 76 ans dans le New Jersey qui a tenté d’aller rencontrer un chatbot à New York (il n’a pas réussi, car il est tombé sur le chemin de son train et est finalement mort de ces blessures). Et parler d’enfants finit par devenir une discussion (valable) sur qui est responsable de ces enfants – leurs parents ou les entreprises technologiques essayant de faire en sorte que ces enfants passent leur temps et leur argent avec eux (réponse courte, IMHO: les deux).

Je suggère cependant que nous élargissons l’objectif au-delà des enfants, cependant, à un groupe beaucoup plus important de personnes qui pourraient ne pas comprendre ce qu’est vraiment un chatbot.

Katie: Avez-vous vu le Sandre R / MyBoyfriendisai pour les femmes qui sont tombées amoureuses des chatbots IA? J’essaie de regarder ce truc avec un esprit ouvert et de ne pas être trop critique. Je peux voir comment, pour beaucoup de gens, un compagnon romantique AI est amusant inoffensif. Mais il semble également assez évident que cela fait appel à des gens vraiment solitaires, et je ne pense pas que tomber amoureux d’une IA est un comportement totalement sain.

Vous avez donc cette chose qui fait appel aux très jeunes, ou aux personnes qui ne comprennent pas l’IA, ou les personnes mentalement malades ou seuls chroniquement.

C’est peut-être un excellent groupe démographique pour vous accrocher à votre produit, mais pas si vous êtes méta et que vous ne voulez pas, disons, le Congrès pour vous crier dessus.

Peter: Katie, vous venez de faire valoir que les affaires de chatbot de Meta plaira aux très jeunes, aux gens qui ne comprennent pas Internet et aux gens qui ne sont pas bien. C’est-à-dire potentiellement un très large public. Mais je ne peux pas imaginer que c’est le public que la méta veut vraiment verrouiller. Nous sommes donc de retour où nous avons commencé – je ne sais toujours pas pourquoi Meta veut poursuivre cela, étant donné quoi semble Pour être limité à la hausse et beaucoup d’inconvénient.

Katie: Cela me laisse aussi me gratter la tête! Ces chatbots semblent être une entreprise difficile, et je suis sceptique quant à une large adoption. De tous les changements que je peux imaginer que l’IA apportait les prochaines années, « nous aurons tous des amis du chatbot » – ce que Mark Zuckerberg a dit! – n’est pas celui que je crois. Ça donne Metaverse, désolé!