Inception dévoile un modèle d’IA révolutionnaire

Inception, une nouvelle entreprise basée à Palo Alto et fondée par Stefano Ermon, professeur d’informatique à Stanford, affirme avoir développé un modèle d’IA innovant exploitant la technologie de diffusion. L’entreprise le qualifie de modèle linguistique à diffusion (DLM).

Actuellement, les modèles d’IA générative se divisent en deux grandes catégories : les modèles linguistiques (LLMs) et les modèles de diffusion. Les LLMs, basés sur des architectures de transformeurs, génèrent du texte, tandis que les modèles de diffusion—utilisés par Midjourney et Sora d’OpenAI—créent principalement des images, des vidéos et de l’audio.

Selon Inception, son modèle conserve les capacités des LLMs traditionnels, comme la génération de code et le question-réponse, mais fonctionne beaucoup plus rapidement et avec des coûts de calcul réduits.

Modèles de diffusion vs. LLMs traditionnels : une nouvelle approche de la génération de texte

Ermon, qui étudie depuis longtemps l’application des modèles de diffusion au texte dans son laboratoire de Stanford, explique que les LLMs génèrent du texte de manière séquentielle, chaque mot dépendant du précédent. En revanche, les modèles de diffusion affinent une approximation globale de leur sortie en une seule étape, une approche couramment utilisée pour la génération d’images.

Convaincu que les modèles de diffusion pouvaient permettre une génération de texte parallèle, Ermon et l’un de ses étudiants ont passé des années à perfectionner ce concept. Leur percée, décrite dans un article de recherche l’an dernier, a démontré la faisabilité de générer et modifier simultanément de grands blocs de texte.

Conscient du potentiel de cette avancée, Ermon a fondé Inception l’été dernier et a recruté deux anciens étudiants—Aditya Grover, professeur à l’UCLA, et Volodymyr Kuleshov, professeur à Cornell—pour diriger l’entreprise.

Bien qu’Ermon ait refusé de révéler les détails du financement, TechCrunch rapporte que le Mayfield Fund a investi dans la startup.

Inception adopté rapidement par des entreprises du Fortune 100

Inception a déjà attiré plusieurs clients, dont des entreprises du Fortune 100 non nommées, en répondant à la demande croissante de latence réduite et de vitesses de traitement accrues, selon Ermon.

« Nos modèles utilisent les GPU de manière bien plus efficace », explique-t-il, en référence aux puces spécialisées utilisées pour l’IA. « Je pense que c’est une révolution qui va redéfinir la conception des modèles linguistiques. »

L’entreprise propose une API, des déploiements sur site et en périphérie, un support pour l’ajustement des modèles, ainsi qu’une gamme de DLM préconstruits pour diverses applications. Selon Inception, ses DLM fonctionnent jusqu’à 10 fois plus vite que les LLM traditionnels, tout en réduisant les coûts d’un facteur 10.

« Notre modèle ‘small’ pour le codage égale les performances de [GPT-4o mini d’OpenAI], mais tourne plus de 10 fois plus vite », a déclaré un porte-parole à TechCrunch. « Notre modèle ‘mini’ dépasse les petits modèles open-source comme [Llama 3.1 8B de Meta] et traite plus de 1 000 tokens par seconde. »

En IA, les « tokens » sont des segments de données brutes, et atteindre 1 000 tokens par seconde est une performance remarquable—si les affirmations d’Inception se confirment.

---

“Lisez l’article original sur :  TechCrunch

En savoir plus :  Anthropic Introduces a New AI Model Capable of Extended Reasoning for as Long as Needed