Les prochains modèles d’IA Llama de Meta s’entraînent sur un cluster GPU «plus grand que tout»

Les prochains modèles d’IA Llama de Meta s’entraînent sur un cluster GPU «plus grand que tout»


Gérer une gamme aussi gargantuesque de puces pour développer Llama 4 présentera probablement des défis d’ingénierie uniques et nécessitera de grandes quantités d’énergie. Les dirigeants de Meta ont éludé mercredi une question d’analyste sur les contraintes d’accès à l’énergie dans certaines régions des États-Unis, qui ont entravé les efforts des entreprises pour développer une IA plus puissante.

Selon une estimation, un cluster de 100 000 puces H100 nécessiterait 150 mégawatts de puissance. En revanche, le plus grand supercalculateur de laboratoire national des États-Unis, El Capitan, nécessite 30 mégawatts de puissance. Meta prévoit de dépenser jusqu’à 40 milliards de dollars en capital cette année pour fournir des centres de données et d’autres infrastructures, soit une augmentation de plus de 42 % par rapport à 2023. La société s’attend à une croissance encore plus torride de ces dépenses l’année prochaine.

Les coûts d’exploitation totaux de Meta ont augmenté d’environ 9 pour cent cette année. Mais les ventes globales – en grande partie grâce à la publicité – ont bondi de plus de 22 %, laissant à l’entreprise des marges plus importantes et des bénéfices plus importants, même si elle investit des milliards de dollars dans les efforts de Llama.

Pendant ce temps, OpenAI, considéré comme le leader actuel dans le développement d’IA de pointe, brûle de l’argent malgré le fait de facturer aux développeurs l’accès à ses modèles. Ce qui reste pour l’instant une entreprise à but non lucratif a déclaré former GPT-5, un successeur du modèle qui alimente actuellement ChatGPT. OpenAI a déclaré que GPT-5 serait plus grand que son prédécesseur, mais il n’a rien dit sur le cluster informatique qu’il utilise pour la formation. OpenAI a également déclaré qu’en plus de l’échelle, GPT-5 intégrera d’autres innovations, notamment une approche de raisonnement récemment développée.

Le PDG Sam Altman a déclaré que GPT-5 constituerait « un bond en avant significatif » par rapport à son prédécesseur. La semaine dernière, Altman a répondu à un reportage affirmant que le prochain modèle frontière d’OpenAI serait publié d’ici décembre en écrivant sur X : « de fausses nouvelles hors de contrôle ».

Mardi, le PDG de Google, Sundar Pichai, a déclaré que la dernière version de la famille Gemini de modèles d’IA générative était en cours de développement.

L’approche ouverte de Meta en matière d’IA s’est parfois révélée controversée. Certains experts en IA craignent que la mise à disposition gratuite de modèles d’IA beaucoup plus puissants ne soit dangereuse, car cela pourrait aider les criminels à lancer des cyberattaques ou à automatiser la conception d’armes chimiques ou biologiques. Bien que Llama soit affiné avant sa sortie pour limiter les mauvais comportements, il est relativement simple de supprimer ces restrictions.

Zuckerberg reste optimiste quant à la stratégie open source, même si Google et OpenAI poussent les systèmes propriétaires. “Il me semble assez clair que l’open source sera l’option la plus rentable, personnalisable, fiable, performante et la plus simple à utiliser disponible pour les développeurs”, a-t-il déclaré mercredi. “Et je suis fier que Llama ouvre la voie dans ce domaine.”

Zuckerberg a ajouté que les nouvelles capacités de Llama 4 devraient pouvoir alimenter un plus large éventail de fonctionnalités dans les services Meta. Aujourd’hui, l’offre de signature basée sur les modèles Llama est le chatbot de type ChatGPT connu sous le nom de Meta AI, disponible sur Facebook, Instagram, WhatsApp et d’autres applications.

Plus de 500 millions de personnes utilisent Meta AI chaque mois, a déclaré Zuckerberg. Au fil du temps, Meta espère générer des revenus grâce aux publicités de cette fonctionnalité. “Il y aura un ensemble croissant de requêtes pour lesquelles les gens l’utiliseront, et les opportunités de monétisation existeront au fil du temps à mesure que nous y parviendrons”, a déclaré Susan Li, directrice financière de Meta, lors de l’appel de mercredi. Avec le potentiel de revenus provenant de la publicité, Meta pourrait bien être en mesure de subventionner Llama pour tout le monde.



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *