Goldman pense que le suivi de votre utilisation de l’IA n’est pas pertinent

Alors que les entreprises américaines s’efforcent de mesurer la manière dont leurs employés utilisent l’IA, Goldman Sachs emprunte une voie différente.

De nombreuses entreprises se sont mises à suivre les individus. Chez JPMorgan, l’entreprise surveille des tableaux de bord affichant des dizaines de milliers d’activités liées à l’IA des utilisateurs, permettant ainsi aux employés de se comparer à leurs pairs. Chez Meta, le géant des médias sociaux installe un logiciel sur les ordinateurs des employés américains pour suivre les frappes au clavier et les mouvements de la souris afin d’entraîner son IA, a rapporté Trading Insider le mois dernier.

Chez Goldman Sachs, le directeur de l’information, Marco Argenti, se concentre sur l’évaluation de la vitesse des équipes avec des outils d’IA plutôt que de se concentrer sur les mesures des utilisateurs individuels, ce qui, selon lui, peut conduire à « rater la forêt pour les arbres ».

Argenti, qui supervise environ 12 000 ingénieurs, pilote l’entreprise dans une évolution rapide alors que l’IA remodèle la façon dont les développeurs créent des logiciels. Il se concentre sur la rapidité avec laquelle les ingénieurs de Goldman passent de l’idée à la production et sur la question de savoir si leur production améliore réellement le temps qu’il faut pour passer d’une idée innovante à un produit prêt à être déployé.

Alors que Goldman peut accéder aux données sur l’utilisation des outils par les individus, y compris ses produits d’IA, la société se concentre davantage sur une vision inter-équipes pour accélérer les délais des projets, effectuer des évaluations de contrôle qualité et suivre la consommation de jetons d’IA pour la budgétisation. La banque n’a pas créé de tableaux de bord de suivi pour imposer l’utilisation de l’IA aux développeurs afin de comparer activement leurs taux d’adoption à ceux de leurs collègues.

J’ai rencontré Argenti pour discuter de la façon dont Goldman définit le succès des développeurs à l’ère de l’IA et pourquoi, selon lui, la surveillance individuelle des activités des développeurs risque de passer à côté de l’essentiel.

Voici notre conversation, éditée pour plus de longueur et de clarté.

Il y a un débat sur l’opportunité de suivre ou non. En tant que manager, quel est votre avis ? Existe-t-il une voie plus efficace qu’une autre pour promouvoir l’adoption de l’IA ?

Étant donné que le travail est généralement effectué par des équipes – et maintenant des équipes hybrides d’agents et d’humains – nous avons tendance à examiner les indicateurs d’équipe. Il s’agit principalement de la vitesse à laquelle ils développent une fonctionnalité.

Nous examinons le flux, c’est-à-dire le temps qu’il faut pour passer de l’idée à la production. Vous le savez parce que vous voyez qu’une équipe a un certain retard, et tout d’un coup, elle commence à réduire le retard.

Expliquez-moi pourquoi vous dites qu’il est plus efficace d’envisager les choses au niveau de l’équipe plutôt que sur une base personnelle.

Si vous regardez l’individu, vous constaterez que les arbres ne cachent vraiment pas la forêt. Ce serait comme regarder un seul joueur sur le terrain.

Très bien, ce joueur fait plus de mouvements, mais pourquoi est-ce que je ne marque pas plus de buts ? Eh bien, parce qu’ils ont besoin de passer le ballon.

Quelle est la bonne façon de procéder pour analyser la productivité de vos ingénieurs grâce à l’IA ?

Comme vous le savez, mesurer la productivité des développeurs est une chose que les entreprises recherchent depuis toujours. Et il n’existe pas de mesure magique unique, car certaines entreprises demandent : « Combien de lignes de code ? mais ce n’est pas vraiment une bonne façon de le faire. En fin de compte, ce qui constitue un résultat utile n’est pas nécessairement le nombre de lignes de code.

Disons que vous vous lancez dans un programme d’entraînement physique. Il est probablement plus efficace de constater le changement dans certains de vos signes vitaux plutôt que d’examiner les chiffres de manière isolée. Si vous commencez à voir votre taux de cholestérol baisser ou votre taux de sucre atteindre un meilleur niveau par rapport à l’endroit où vous étiez, alors c’est peut-être un indicateur que vous êtes sur la bonne voie.

Un autre grand sujet qui préoccupe tout le monde est la flambée des coûts des jetons. Comment mesurez-vous si vos dépenses génèrent des résultats démontrables ?

Si vous utilisez beaucoup de jetons et que la sortie ne bouge pas, cela signifie probablement que vous êtes encore en phase d’expérimentation. Nous avons identifié un seuil : en dessous, les mesures de production ne changeaient pas, mais une fois ce seuil dépassé, la productivité a commencé à évoluer.

Après enquête, cela nous a montré que les gens faisaient des allers-retours avec l’IA sur la planification elle-même – en utilisant des jetons pour créer des plans de mise en œuvre et des documents sur les exigences commerciales avant de se lancer dans le codage. Ce travail préparatoire ne produit pas immédiatement un résultat de codage, car il a lieu avant que les développeurs ne commencent à écrire du code.

Vous constatez donc une accélération de l’utilisation des jetons, mais aucun changement immédiat dans le résultat. Une fois le plan créé, l’agent commence à créer du code, puis vous constatez à la fois de nouvelles augmentations de la consommation de jetons et des résultats sous forme de sortie de codage.

Que pensent vos ingénieurs de l’utilité de l’IA pour accélérer la réalisation des tâches ?

Nous avons dépassé une masse critique où l’enthousiasme a pris le pas sur la peur.

En fait, je viens de sortir d’une sorte de vitrine – une réunion de type innovation que nous organisons. Le sentiment dominant est en réalité un sentiment d’autonomisation. Les gens se sentent presque libérés. Il y a quelques semaines ou quelques mois, bien sûr, il y avait un peu de scepticisme et de peur, mais je fais le lien avec les gens qui ne l’utilisaient pas vraiment.

Comment cette vitesse change-t-elle la façon dont ils vous présentent le travail ? Constatez-vous un changement de la « culture PowerPoint » vers quelque chose de plus pratique ?

Ils arrivent avec un problème très concret qu’ils ont résolu. Ils se lancent presque immédiatement dans les prototypes de nouveaux produits, parfois avant de formaliser complètement l’idée. Aujourd’hui, vous disposez d’un prototypage quasiment en temps réel. Même lors d’une réunion, vous leur parlez et ils peuvent le changer sous vos yeux.

Autrefois, ils arrivaient avec un PowerPoint ou un document de six pages et je devais l’imaginer. Aujourd’hui, j’ai vu un vrai produit. Je peux littéralement dire : « Et ça ? et lors de la réunion, ils peuvent apporter des changements. Il n’y a aucun temps entre l’idée et le prototype. Une sorte de logiciel « d’impression 3D ».