Le cofondateur d'OpenAI et ancien directeur de l’IA chez Tesla, Andrej Karpathy, a annoncé sur X, le 19 mai, qu’il rejoint Anthropic. À partir de cette semaine, il dirige l’équipe pour mener la recherche sur l’entraînement préalable de Claude. Anthropic a confirmé que l’entraînement préalable constitue la phase d’entraînement de base permettant d’implanter les capacités linguistiques clés de Claude, et qu’il s’agit aussi du segment le plus coûteux en calculs dans l’ensemble du processus de construction d’un modèle d’IA.
Responsabilités confirmées : la phase la plus coûteuse pour doter Claude de ses capacités clés
Dans une déclaration officielle, Anthropic confirme que Karpathy est responsable de la recherche sur l’entraînement préalable de Claude : un entraînement de base du modèle à partir de vastes corpus de données, qui détermine ses capacités fondamentales de compréhension du langage et de raisonnement. Karpathy avait déjà, en 2024, combiné des agents d’IA codant avec des modèles de langage de petite taille ; en 2 jours, il a mené 700 expériences, réduisant avec succès de 11% le temps d’entraînement des grands modèles. Cette approche de recherche automatisée est surnommée dans l’industrie la « Karpathy Loop ».
Trajectoire de carrière de Karpathy : du passage par OpenAI à Anthropic
Karpathy a été l’un des cofondateurs d’OpenAI en 2015. En 2017, Elon Musk, tout en occupant les fonctions de président de Tesla et d’administrateur d’OpenAI, l’a recruté chez Tesla en tant que directeur de l’IA, où il dirigeait une équipe de vision par ordinateur pour la conduite autonome assistée. Des documents judiciaires indiquent que Musk qualifiait alors Karpathy de « deuxième place mondiale en vision par ordinateur », ajoutant : « Les gens d’OpenAI vont vouloir le tuer, mais c’est ce qu’il faut faire. »
Karpathy a quitté Tesla en 2022, est brièvement retourné chez OpenAI, puis a fondé une start-up d’éducation à l’IA, Eureka Labs. Il est aussi l’auteur de la notion de « Vibe Coding » — les utilisateurs donnent des consignes à un assistant d’écriture de code via des prompts, sans avoir à écrire directement du code ; cette idée s’est rapidement imposée comme un terme générique au sein de la communauté de développement d’IA.
Anthropic confirme des mouvements de personnel ce mois-ci
Le moment où Ross Nordeen (membre fondateur de xAI) a rejoint Anthropic est antérieur à l’annonce de Karpathy de ce mois-ci. Anthropic confirme également que Chris Rohlf, qui a travaillé pour Yahoo et Meta et dispose de 20 ans d’expérience en cybersécurité, a rejoint une équipe de red teaming de pointe afin de participer aux travaux de tests de résistance. Le même jour où Nordeen a annoncé son arrivée, Anthropic et SpaceX ont conclu un accord, louant des capacités de calcul de xAI. Anthropic a été fondé en 2021 par sept anciens employés d’OpenAI, dont le PDG actuel Dario Amodei et la présidente actuelle Daniela Amodei.
Questions fréquentes
Quel rôle l’entraînement préalable joue-t-il dans le développement des modèles d’IA, et pourquoi coûte-t-il si cher ?
L’entraînement préalable est la phase où l’on réalise un entraînement de base d’un modèle d’IA à partir de vastes corpus de données. Il détermine la compréhension du langage du modèle, son raisonnement et l’accumulation de connaissances. Durant l’entraînement, d’importantes ressources de calcul GPU sont nécessaires pour faire tourner les processus en continu pendant plusieurs semaines à plusieurs mois : c’est l’étape qui consomme le plus de puissance de calcul et coûte le plus cher dans l’ensemble du cycle de développement d’un modèle d’IA. C’est aussi une base préalable aux entraînements ultérieurs de fine-tuning (ajustement) et d’alignement (Alignment).
Que recouvre concrètement la notion de Vibe Coding, et comment Karpathy la définit-il ?
Vibe Coding (codage d’ambiance) est une approche de développement assistée par l’IA proposée par Karpathy : l’utilisateur se concentre principalement sur l’idée créative et la logique, puis utilise des consignes en langage naturel pour demander à un assistant de génération de code de produire du code, sans qu’il ait besoin d’écrire lui-même. Après sa proposition, cette notion est devenue rapidement un terme largement adopté dans la communauté de développement d’IA, reflétant un modèle de conception de programmation homme-machine centré sur l’IA.
Quel lien concret existe entre Anthropic et OpenAI dans leur création ?
Anthropic a été fondé en 2021 par sept anciens employés d’OpenAI, dont Dario Amodei (PDG actuel) et Daniela Amodei (présidente actuelle). Depuis, d’autres anciens employés d’OpenAI ont continué à rejoindre l’entreprise, notamment John Schulman en 2024, qui est passé chez Anthropic, ainsi que l’arrivée de Karpathy.
