Mark Zuckerberg affirme que le cluster de puces Nvidia H100 de Meta est plus grand que celui de la concurrence
Elon Musk a parlé de l’énorme inventaire de puces Nvidia très demandées de sa startup d’IA. C’est désormais au tour de Mark Zuckerberg de fléchir.
Une grande puissance de calcul est consacrée à la formation des prochains modèles d’intelligence artificielle Llama 4 de Meta – plus que tout ce qui est proposé par la concurrence, a déclaré Zuckerberg.
Mercredi, lors de la conférence téléphonique sur les résultats du troisième trimestre de Meta, le PDG de Meta a déclaré que Llama 4 était « bien avancé dans son développement » et qu’il était en cours de formation sur un cluster d’unités de traitement graphique plus grand que celui de ses rivaux.
« Nous entraînons les modèles Llama 4 sur un cluster plus grand que 100 000 H100, ou plus grand que tout ce que j’ai vu rapporté pour ce que font les autres », a-t-il déclaré.
Ce chiffre de 100 000 pourrait faire référence à la startup d’IA d’Elon Musk, xAI, qui a lancé son supercalculateur Colossus cet été. Le PDG de Tesla l’a qualifié de « système de formation en IA le plus puissant au monde » et a déclaré que xAI utilisait 100 000 GPU H100 de Nvidia pour former son chatbot Grok.
La puce H100 de Nvidia, également connue sous le nom de Hopper, est très recherchée par les géants de la technologie et les startups de l’IA pour sa puissance de calcul et pour former de grands modèles de langage. Le coût est estimé entre 30 000 et 40 000 dollars par puce.
Le nombre de H100 qu’une entreprise a accumulés a été pris en compte dans le recrutement des meilleurs talents en IA. Le PDG de Perplexity, Aravind Srinivas, a déclaré dans une interview en podcast que le sujet avait été abordé lorsqu’il avait tenté de débaucher quelqu’un de Meta.
« J’ai essayé d’embaucher un chercheur très expérimenté de Meta, et vous savez ce qu’ils ont dit ? ‘Revenez me voir quand vous aurez 10 000 GPU H100′ », a déclaré Srinivas en mars.
Meta a sorti ses modèles Llama 3 en avril et juillet. Zuckerberg a ajouté mercredi lors de la conférence téléphonique sur les résultats que les modèles Llama 4 de Meta auraient « de nouvelles modalités, capacités, un raisonnement plus solide » et seraient « beaucoup plus rapides ». Les modèles plus petits seront probablement prêts à être lancés bientôt, probablement au début de 2025, a-t-il déclaré.
Interrogé sur les dépenses importantes de Meta en matière d’IA, Zuckerberg a déclaré que l’entreprise développait son infrastructure d’IA plus rapidement que prévu et qu’il était « heureux que l’équipe s’en sorte bien dans ce domaine », même si cela signifie des coûts plus élevés, ce qui n’est « peut-être pas ce que veulent les investisseurs ». entendre. »
Meta s’attend à ce que ses dépenses en capital continuent d’augmenter l’année prochaine à mesure qu’elle développe son infrastructure d’IA.
Le PDG de Meta n’a pas précisé quelle était exactement la taille du cluster de puces H100 de l’entreprise. Pendant ce temps, Musk a déclaré sur X plus tôt cette semaine que xAI doublerait la taille de son cluster dans les mois à venir pour atteindre 200 000 puces H100 et H200.
