La Puce d’IA la Plus Rapide Accélérera l’IA

Que vous considériez l’IA comme un outil extraordinaire avec d’immenses avantages ou comme un préjudice sociétal qui ne favorise que les puissants, une nouvelle puce révolutionnaire peut désormais les former à des vitesses sans précédent. Cerebras Systems a introduit le Wafer Scale Engine 3 (WSE-3), la puce d’IA la plus rapide au monde, alimentant le supercalculateur d’IA Cerebras CS-3 avec une performance maximale de 125 pétaFLOPS, et sa scalabilité est remarquable.

Avant qu’un système d’IA ne crée une vidéo attendrissante mais légèrement inquiétante d’un chat réveillant son propriétaire, il doit subir une formation avec un volume de données vraiment remarquable, consommant une énergie équivalente à celle de plus de 100 foyers dans le processus. Cependant, la nouvelle puce, ainsi que les ordinateurs construits avec elle, amélioreront la vitesse et l’efficacité de ce processus.

Révolutionnaire Performance de la puce et compacité du système

Chaque puce WSE-3, d’une taille approximative d’une boîte à pizza, contient un étonnant quadrillion de transistors, offrant le double des performances du modèle précédent de l’entreprise, qui détenait le précédent record du monde, le tout au même coût et à la même consommation d’énergie. Lorsqu’ils sont assemblés dans le système CS-3, ces puces offrent apparemment des performances équivalentes à une salle remplie de serveurs, condensées en une seule unité de la taille d’un mini-réfrigérateur.

Célébras affirme que le système CS-3 abrite 900 000 cœurs IA et 44 Go de SRAM intégré à la puce, offrant jusqu’à 125 pétaflops de performances IA maximales. En théorie, cela devrait le placer parmi les 10 supercalculateurs mondiaux, bien que des tests de référence formels doivent encore confirmer ses performances.

Capacité de données et gestion de modèles sans précédent

Pour répondre à la quantité considérable de données, les options de mémoire externe vont de 1,5 To à un colossal 1,2 pétaoctets (1 200 To). Le CS-3 dépasse les normes actuelles en manipulant des modèles d’IA avec jusqu’à 24 billions de paramètres, dépassant de loin le maximum prévu d’environ 1,8 billion de paramètres pour des modèles comme GPT-4. Cerebras affirme que le CS-3 peut entraîner sans effort un modèle d’un billion de paramètres, équivalent à la charge de travail des ordinateurs actuels basés sur GPU qui manipulent simplement un modèle d’un milliard de paramètres.

La méthode de fabrication de galettes utilisée pour les puces WSE-3 permet d’adapter le CS-3 à l’évolutivité. Elle permet de regrouper jusqu’à 2 048 unités dans un seul superordinateur, pouvant atteindre jusqu’à 256 exaFLOPS, surpassant les capacités des supercalculateurs de premier plan actuels. Ce niveau de puissance pourrait, selon la société, entraîner un modèle Llama 70B à partir de zéro en seulement un jour.

Les progrès rapides des modèles d’IA sont déjà palpables, mais cette technologie est sur le point d’accélérer encore davantage le progrès. Quel que soit votre profession ou vos loisirs, il semble que les systèmes d’IA continueront à envahir divers domaines à un rythme sans précédent.

---

Lisez l’article original sur : New Atlas

Lire la suite : Microsoft Azure pousse l’IA en avant avec des solutions de premier plan