Andrej Karpathy a lancé le projet open-source autoresearch, permettant à l'IA de réaliser automatiquement cent expériences d'entraînement de LLM

Gate News annonce qu’au 9 mars, Andrej Karpathy, fondateur d’Eureka Labs et cofondateur d’OpenAI, a publié hier (le 8 mars) le projet open source autoresearch, qui rassemble de manière autonome le workflow d’optimisation automatique de l’AI Agent précédemment utilisé dans le projet d’entraînement LLM nanochat, pour que les développeurs puissent l’utiliser. Ce projet adopte le modèle de conception « l’humain écrit du Markdown, l’IA écrit du code » : les développeurs définissent leur orientation de recherche en rédigeant un fichier program.md, puis l’AI Agent modifie de manière autonome le code train.py, contenant un modèle GPT complet, Muon + AdamW comme optimiseur, et la boucle d’entraînement (environ 630 lignes). Chaque expérience dure 5 minutes fixes, avec le nombre de bits par byte (val_bpb) sur le jeu de validation comme seul indicateur d’évaluation ; les améliorations supérieures à la ligne de base sont conservées et soumises, sinon abandonnées. À ce rythme, environ 12 expériences peuvent être réalisées par heure, soit environ 100 en une nuit. L’exemple présenté par Karpathy montre que sur 83 expériences, 15 ont abouti à des améliorations efficaces. Le projet nécessite seulement une GPU NVIDIA (testée sur H100), dépend de PyTorch et de quelques packages logiciels, et est open source sous licence MIT. Actuellement, la communauté a déjà développé des branches d’adaptation pour macOS et MLX.