ChatGPT d’OpenAI peut en fait nuire aux performances des travailleurs, selon une nouvelle étude

• Selon une nouvelle étude du BCG, les travailleurs utilisant ChatGPT d’OpenAI peuvent en fait avoir de moins bons résultats que ceux qui ne l’utilisent pas.
• En effet, certains travailleurs prennent les résultats du chatbot IA pour argent comptant et ne vérifient pas les erreurs.
• Les conclusions du BCG pourraient constituer une mise en garde pour les travailleurs qui se tournent vers l’IA.

Si vous utilisez ChatGPT comme raccourci au travail, vous souhaiterez peut-être être très prudent.

L’utilisation de l’IA au travail peut en fait nuire à vos performances au travail – si elle est utilisée pour des tâches en dehors de ses capacités, selon une nouvelle étude du Boston Consulting Group.

Un groupe de chercheurs du BCG, Harvard, Wharton et MIT ont mené une expérience pour voir comment l’accès à l’IA affecte la productivité et la qualité du travail des cols blancs.

Pour tester cela, les chercheurs ont réparti au hasard 758 consultants du BCG dans l’un des trois groupes suivants : un sans accès à l’IA ; un avec accès à ChatGPT alimenté par GPT-4 ; et un avec accès à ChatGPT, ainsi qu’à des vidéos pédagogiques et des documents sur les stratégies d’ingénierie rapides.

Après avoir établi des références de performance, les consultants de chaque groupe se sont vu attribuer l’une des deux catégories de tâches.

Une catégorie comprenait 18 tâches qui existent « à l’intérieur de la frontière » de ce que l’IA peut faire, comme réfléchir à des concepts de boissons innovants ou élaborer un plan d’affaires détaillé pour un nouveau concept de chaussures.

L’autre catégorie contenait des tâches plus ouvertes qui existent « en dehors des frontières » des capacités de l’IA. Alors que « les consultants excelleraient » dans ces tâches, « l’IA aurait du mal sans des conseils approfondis », indique l’étude.

Par exemple, les consultants chargés de cet ensemble de tâches ont été invités à proposer des recommandations au PDG d’une entreprise hypothétique en utilisant des données financières internes et des entretiens avec des initiés de l’entreprise – des informations auxquelles l’IA n’avait pas accès.

Les chercheurs ont constaté de fortes différences dans les résultats des trois groupes, en fonction de leur accès à ChatGPT.

Pour les tâches « à l’intérieur de la frontière », les consultants utilisant l’IA étaient « nettement plus productifs » et « produisaient des résultats de qualité nettement supérieure » que ceux qui n’utilisaient pas le chatbot.

Cependant, les consultants utilisant l’IA pour accomplir des tâches « en dehors des frontières » étaient « 19 points de pourcentage moins susceptibles de produire des solutions correctes que ceux sans IA ». En effet, il a été constaté que les consultants en IA écoutaient sans discernement ses résultats, même si les réponses étaient fausses.

Ces résultats démontrent les capacités « inégales » de l’IA.

Bien que les résultats de l’étude montrent que l’IA est « extrêmement efficace » pour aider les humains dans certaines tâches, les humains doivent faire preuve de prudence lorsqu’ils utilisent la technologie pour éviter les erreurs, a déclaré Saren Rajendran, l’un des chercheurs impliqués dans l’étude, à Insider dans un e-mail.

« Nous devons être prudents lorsque nous utilisons GenAI », a-t-il ajouté.

Les résultats du BCG constituent une mise en garde pour les travailleurs qui envisagent d’utiliser ChatGPT pour les aider à faire leur travail. Depuis la sortie de ChatGPT en novembre dernier, les travailleurs de tous les secteurs utilisent le chatbot IA – parfois sans en parler à leurs patrons – pour développer du code, créer du matériel marketing et générer des plans de cours.

Cependant, les résultats de ChatGPT ne sont pas parfaits et peuvent contenir des « hallucinations ».

Publication technique CNET a été critiqué plus tôt cette année après que les lecteurs ont remarqué qu’un certain nombre de ses articles générés par l’IA contenaient des erreurs factuelles.

Au 28 septembre, l’organisme de surveillance des médias NewsGuard a identifié 487 sites d’information « peu fiables » générés par l’IA et avec « peu ou pas de surveillance humaine ».

Dans une publicité pour Bard de Google, le chatbot IA a commis une erreur factuelle lorsqu’on l’a interrogé sur le télescope spatial James Webb.

Les erreurs générées par l’IA pourraient ne faire qu’empirer : dans un article récent, des chercheurs en IA ont découvert que des modèles d’IA génératifs pourraient bientôt être formés sur du contenu généré par l’IA – un phénomène qu’ils appellent « l’effondrement du modèle ». Le résultat pourrait être davantage de productions de mauvaise qualité dans un avenir proche.

« Alors que les limites des capacités de l’IA continuent de s’étendre, souvent de manière exponentielle, il incombe aux professionnels humains de recalibrer leur compréhension de la frontière et aux organisations de se préparer à un nouveau monde de travail combinant les humains et l’IA », ont écrit les chercheurs.