Prix Nobel de physique : L’IA de Hopfield et Hinton

Dans une étude sur les larves de drosophiles, les chercheurs ont découvert comment l’acte d’avaler déclenche la libération de sérotonine dans le cerveau, éclairant ainsi le lien entre l’alimentation et le plaisir chez les animaux.

Si des mécanismes similaires existent chez l’homme, cela pourrait offrir des éclairages précieux sur notre propre désir de manger et de boire. En cartographiant le système nerveux entérique de la drosophile, les scientifiques ont acquis une nouvelle compréhension de l’acte d’avaler, qu’ils décrivent comme « probablement la décision la plus cruciale qu’un animal doive prendre ».

Comment les neurones calculent

Les réseaux neuronaux artificiels sont inspirés du fonctionnement des neurones biologiques. En 1943, Warren McCulloch et Walter Pitts ont introduit un modèle simple montrant comment les neurones se connectent, reçoivent des signaux et envoient leurs propres signaux.

Les neurones attribuent des poids différents aux signaux entrants, de manière similaire à l’importance accordée à l’opinion de certains amis plus que d’autres lorsqu’on décide d’acheter un téléphone. Par exemple, si Alice et Bob disent oui, mais que Charlie, en qui vous avez plus confiance pour les conseils technologiques, dit non, vous pourriez accorder plus de poids à son avis. Cela pourrait alors modifier votre décision, passant de l’achat à ne pas acheter le téléphone.

Réseau de Hopfield

Les réseaux neuronaux artificiels ont été initialement inspirés de la biologie, mais leur développement a rapidement intégré des concepts de logique, de mathématiques et de physique. Le physicien John Hopfield a appliqué des concepts de physique pour étudier un type spécifique de réseau neuronal récurrent, maintenant connu sous le nom de réseau de Hopfield, en se concentrant sur son évolution dans le temps.

Ces dynamiques sont également pertinentes dans les réseaux sociaux, où l’information se propage rapidement, entraînant des phénomènes viraux et des chambres d’écho à partir d’interactions simples.

Hopfield a été un pionnier dans l’utilisation de modèles de physique, notamment ceux étudiant le magnétisme, pour comprendre les réseaux neuronaux. Il a démontré que ces dynamiques pouvaient conférer à ces réseaux une forme de mémoire.

Machines de Boltzmann et rétropropagation

Dans les années 1980, Geoffrey Hinton, Terrence Sejnowski et d’autres ont élargi les travaux de Hopfield pour développer une nouvelle classe de modèles appelés machines de Boltzmann, nommées d’après le physicien du XIXe siècle Ludwig Boltzmann. Comme le suggère leur nom, ces modèles étaient basés sur les travaux de Boltzmann en physique statistique.

Alors que les réseaux de Hopfield pouvaient stocker et corriger des motifs, similaires à un correcteur orthographique, les machines de Boltzmann allaient plus loin. Elles pouvaient générer de nouveaux motifs, jetant ainsi les bases de l’IA générative actuelle.

Le rôle de la rétropropagation dans les réseaux neuronaux

Dans les années 1980, Hinton a également contribué à une percée majeure : la rétropropagation. Pour que les réseaux neuronaux accomplissent des tâches utiles, il faut choisir les bons poids de connexion entre les neurones. La rétropropagation est un algorithme essentiel qui aide à ajuster ces poids en fonction des performances du réseau sur un jeu de données d’entraînement. Cependant, l’entraînement de réseaux avec de nombreuses couches restait difficile.

Dans les années 2000, Hinton et son équipe ont trouvé une solution astucieuse. Ils ont utilisé les machines de Boltzmann pour préformer chaque couche d’un réseau multicouche, suivie d’un algorithme de fine-tuning pour affiner davantage les poids. Ces réseaux multicouches, désormais appelés réseaux profonds, ont lancé la révolution de l’apprentissage profond.

L’IA rend à la physique.

Le prix Nobel de physique souligne comment les idées de ce domaine ont alimenté la croissance de l’apprentissage profond. Aujourd’hui, l’apprentissage profond rend à la physique en permettant des simulations rapides et précises de systèmes allant des molécules au climat de la Terre.

En honorant Hopfield et Hinton du prix Nobel, le comité envoie un signal d’optimisme quant à notre capacité à utiliser ces avancées pour améliorer le bien-être humain et soutenir un avenir durable.

---

Lire l’article original sur :  Science Alert

En savoir plus :  Scitke