Nouvelles questions du cours de Mathématiques
Nouvelles questions du cours de mathématiques de l’université Algorithm Aces. Le calcul multivariable, les équations différentielles et l’algèbre linéaire – des sujets que de nombreux étudiants du MIT peuvent maîtriser sans transpirer – ont constamment bloqué la conception de l’apprentissage automatique. Les meilleures versions n’ont pu répondre qu’à des questions de mathématiques de niveau primaire ou secondaire, et elles ne trouvent pas toujours les bonnes solutions.
Actuellement, une équipe multidisciplinaire de chercheurs du MIT et d’autres endroits, dirigée par Iddo Drori, maître de conférences au Département de génie électrique et d’informatique (EECS) du MIT, a en fait utilisé un modèle de réseau neuronal pour résoudre des problèmes mathématiques de niveau universitaire dans quelques secondes au niveau humain.
Le modèle explique également automatiquement les solutions et génère rapidement de nouveaux problèmes dans les domaines mathématiques universitaires. Lorsque les scientifiques ont montré ces questions générées par des machines à des étudiants universitaires, ces derniers n’ont pas été en mesure de dire si les questions étaient produites par un algorithme ou par un humain.
Ce travail pourrait être utilisé pour rationaliser la génération de contenu pour les cours, ce qui pourrait être particulièrement utile dans les énormes cours résidentiels et les cours en ligne ouverts massifs (MOOC) qui comptent des milliers d’étudiants. Le système peut aussi être utilisé comme un tuteur automatisé qui montre aux étudiants les étapes nécessaires à la résolution de problèmes de mathématiques de premier cycle.
“Nous pensons que cela améliorera l’enseignement supérieur”, déclare Drori, l’auteur principal de l’ouvrage, qui est aussi professeur agrégé adjoint à la division d’informatique du Columbia College et qui rejoindra la faculté de l’Université de Boston cet été. « Cela aidera les étudiants à s’améliorer, et cela aidera ainsi les enseignants à créer de nouveaux contenus, et cela pourrait aider à augmenter le niveau de difficulté de certains cours. Cela nous permet aussi de construire un graphe de questions et de cours, ce qui nous aide à comprendre le partenariat entre les cours et leurs prérequis, non seulement en les envisageant historiquement, mais en fonction d’informations.
Le travail est une collaboration impliquant des étudiants, des chercheurs et des professeurs du MIT, du Columbia College, du Harvard College et du College of Waterloo. L’auteur principal est Gilbert Strang, professeur de mathématiques au MIT. La recherche apparaît cette semaine dans les Actes de l’Académie nationale des sciences.
Un moment “eurêka”
Drori aussi, ses étudiants et collègues ont travaillé sur ce projet pendant près de deux ans. Ils ont constaté que les modèles pré-entraînés utilisant du texte ne pouvaient pas obtenir une précision supérieure à huit pour cent sur les problèmes mathématiques du secondaire. Ceux qui utilisent des réseaux de cartes neuronales pourraient répondre aux questions du cours d’apprentissage automatique ; cependant, il faudrait une semaine pour s’entraîner.
Ensuite, Drori a eu ce qu’il explique comme un moment “eurêka” : il a décidé d’essayer de prendre des questions de cours de mathématiques de premier cycle donnés par le MIT et 1 du Columbia College qui n’avaient jamais été vus auparavant par une version, en les transformant en tâches de programmation, et en appliquant une méthode appelée synthèse de programme et également apprentissage en quelques coups. Transformer une question en tâche de programmation peut être aussi simple que de réécrire la question « trouver la distance entre deux facteurs » comme « écrire un programme qui trouve la différence entre 2 points » ou de fournir quelques paires question-programme comme exemples.
Avant de transmettre ces tâches de programmation à un réseau de neurones, les chercheurs ont inclus une nouvelle étape qui lui a permis de surpasser ainsi leurs tentatives précédentes.
Dans le passé, eux et d’autres qui ont évoqué ce problème ont utilisé un réseau de neurones, tel que GPT-3, qui était pré-formé sur du texte uniquement, ce qui signifie qu’il a été montré des milliers d’ exemples de texte pour apprendre les modèles du langage naturel. Cette fois, ils ont utilisé un réseau de neurones pré-entraîné sur du texte qui a également été “affiné” sur du code. Ce réseau, connu sous le nom de Codex, a été produit par OpenAI. Le réglage fin est essentiellement une autre étape de pré-formation qui pourrait améliorer les performances d’une version d’apprentissage automatique.
La conception pré-entraînée a montré des millions d’exemples de code provenant de référentiels en ligne. Étant donné que les informations de formation de ce modèle comprenaient des millions de mots en langage naturel et de nombreuses lignes de code, il apprend la relation entre les morceaux de texte et les morceaux de code.
De nombreux problèmes mathématiques peuvent être résolus à l’aide d’un graphique ou d’un arbre de calcul. Cependant, il est difficile de transformer un problème écrit en texte en ce type de représentation, explique Drori. Étant donné que cette version a appris les relations entre le texte et le code, elle pourrait transformer une question textuelle en code, en ne donnant que quelques exemples de code de question, puis faire le code pour répondre au problème.
“Lorsque vous posez simplement une question dans le texte, il est difficile pour un modèle d’apprentissage automatique de trouver une réponse, même si la solution peut-être dans le texte”, déclare-t-il. “Ce travail remplit la pièce manquante de l’utilisation de la synthèse de code et de programme.”
Ce travail est le premier à résoudre des problèmes mathématiques de premier cycle et fait également passer l’aiguille d’une précision de huit pour cent à plus de quatre-vingts pour cent, incluant Drori.
Ajout de contexte
Transformer des questions mathématiques en tâches de programmation n’est pas toujours simple, dit Drori. Certains problèmes auxquels les scientifiques ajoutent du contexte afin que le réseau de neurones puisse traiter correctement la question. Un étudiant reprendrait ce contexte tout en suivant le cours ; Cependant, un réseau de neurones ne dispose pas de ces connaissances de base, à moins que les scientifiques ne le précisent.
Par exemple, ils pourraient avoir besoin de tester que le « réseau » dans le texte d’une question fait référence à des « réseaux de neurones » plutôt qu’à des « réseaux de communication ». Alternativement, ils peuvent avoir besoin d’indiquer au modèle quel package de programmation utiliser. Ils peuvent également avoir besoin de fournir des définitions spécifiques ; dans une question sur les mains de poker, ils pourraient avoir besoin d’informer le modèle que chaque jeu contient cinquante-deux cartes.
Ils transmettent automatiquement ces tâches de programmation, avec le contexte et les exemples impliqués, au réseau neuronal pré-entraîné et affiné qui produit un programme qui produit généralement la bonne réponse. C’était correct pour plus de quatre-vingts pour cent des questions.
Les scientifiques ont aussi utilisé leur modèle pour créer des questions en donnant au réseau de neurones une série de problèmes mathématiques sur un sujet, puis en lui demandant d’en créer un nouveau.
« Dans certaines matières, cela nous a surpris. Par exemple, il y avait des questions sur la détection quantique des lignes horizontales et verticales, ce qui a généré de nouvelles questions sur la détection quantique des lignes diagonales. Ainsi, il ne s’agit pas simplement de créer de nouvelles questions en remplaçant des valeurs et des variables dans les questions existantes », déclare Drori.
Questions générées par l’homme ou générées par la machine
Les chercheurs ont examiné les questions suscitées par la machine en les révélant à des étudiants universitaires. Les chercheurs ont donné au hasard aux étudiants dix questions de chaque cours de mathématiques de premier cycle; les humains en ont développé cinq et cinq ont été générés par des machines.
Les étudiants ne pouvaient pas dire si un algorithme ou un être humain avaient produit les questions émises par la machine, et ils ont donné aux questions émises par l’homme et émises par la machine des notes similaires pour le niveau de difficulté et la pertinence du cours.
Drori précise rapidement que ce travail n’est pas destiné à remplacer les professeurs humains.
« L’automatisation est maintenant à 80 %, mais l’automatisation ne sera jamais précise à 100 %. Chaque fois que vous résolvez quelque chose, quelqu’un vous posera une question plus difficile. Néanmoins, ce travail ouvre le champ pour que les gens commencent à résoudre des questions plus difficiles et aussi plus difficiles avec l’apprentissage automatique. Nous pensons que cela aura un impact considérable sur l’enseignement supérieur », dit-il.
Le groupe est enthousiasmé par le succès de leur approche mathématique et a développé le travail pour gérer les preuves, mais ils ont permis de s’attaquer à certaines limites. Actuellement, le modèle ne peut pas répondre aux questions avec une composante visuelle et ne peut pas résoudre les problèmes de calcul insolubles en raison de la complexité des calculs.
En plus de surmonter ces obstacles, ils travaillent à faire évaluer la version jusqu’à des centaines de programmes. Avec ces centaines de cours, ils créeront plus de données qui peuvent améliorer l’automatisation et offrir un aperçu de la conception des cours et des programmes éducatifs.
Référence :
Iddo Drori et al, Un réseau de neurones résout, explique et génère des problèmes mathématiques universitaires par synthèse de programme et apprentissage en quelques coups au niveau humain, Actes de l’Académie nationale des sciences (2022). DOI : 10.1073/pnas.2123433119
Lisez l’article original sur Tech Xplore.
Connexes “Expert du MIT sur les ordinateurs puissants et l’innovation“
