Karpathy se une a Anthropic: el padre del Vibe Coding lidera el preentrenamiento de Claude

Andrej Karpathy, cofundador de OpenAI y ex director de IA en Tesla, anunció en X el 19 de mayo que se une a Anthropic. A partir de esta semana, liderará al equipo para dirigir la investigación de preentrenamiento de Claude. Anthropic confirmó que el preentrenamiento es la fase de entrenamiento base que otorga a Claude las capacidades lingüísticas fundamentales, y también la etapa con el mayor costo computacional dentro de todo el proceso de construcción de modelos de IA.

Confirmación de las responsabilidades del preentrenamiento: la fase más cara para dotar a Claude de capacidades clave

Un comunicado oficial de Anthropic confirmó que Karpathy se encarga de la investigación de preentrenamiento de Claude, es decir, el entrenamiento base del modelo con un gran volumen de datos de texto, que determina sus capacidades centrales de comprensión del lenguaje y razonamiento. Karpathy había combinado en 2024 agentes de codificación de IA con modelos de lenguaje pequeños; realizó 700 experimentos en 2 días y logró reducir en 11% el tiempo de entrenamiento de modelos grandes. Esta metodología automatizada de investigación es conocida en la industria como el “Karpathy Loop”.

Trayectoria profesional de Karpathy: el camino de OpenAI a Anthropic

Karpathy fue uno de los cofundadores de OpenAI en 2015. En 2017, durante el período en que Elon Musk ejercía simultáneamente como presidente de Tesla y de OpenAI, lo reclutó para que se desempeñara como director de IA en Tesla, liderando el equipo de visión por computadora de conducción asistida. Los documentos judiciales muestran que Musk, en ese momento, calificó a Karpathy como la segunda silla en visión por computadora a nivel mundial, y señaló: “La gente de OpenAI querría matarlo, pero esto es algo que hay que hacer”.

Karpathy dejó Tesla en 2022, regresó brevemente a OpenAI y, después, fundó una nueva startup de educación en IA, Eureka Labs. También es el proponente de “Vibe Coding”: los usuarios le indican a un asistente de código de IA qué hacer mediante instrucciones con prompts, sin necesidad de escribir código directamente; esta idea se convirtió rápidamente en un término de uso común en la comunidad de desarrollo de IA.

Movimientos de personal confirmados por Anthropic este mes

El momento en que Ross Nordeen (miembro fundador de xAI) se unió a Anthropic es anterior al anuncio de Karpathy de este mes. Anthropic también confirmó que Chris Rohlf, que antes trabajó en Yahoo y Meta y cuenta con 20 años de experiencia en ciberseguridad, se incorporó a un equipo de red teaming de vanguardia para participar en trabajos de pruebas de esfuerzo. El mismo día en que Nordeen anunció su incorporación, Anthropic y SpaceX llegaron a un acuerdo para arrendar capacidad de cómputo de xAI. Anthropic fue fundada en 2021 por siete ex empleados de OpenAI, entre ellos el actual CEO Dario Amodei y la actual presidenta Daniela Amodei.

Preguntas frecuentes

¿Qué papel desempeña el preentrenamiento en el desarrollo de modelos de IA y por qué cuesta tanto?

El preentrenamiento es el proceso de entrenar de forma base un modelo de IA con un gran volumen de datos de texto, lo que determina la comprensión del lenguaje, el razonamiento y la acumulación de conocimiento del modelo. Durante el entrenamiento se necesita una gran cantidad de potencia de GPU para operar de forma continua durante semanas a meses, y es la etapa con mayor consumo de cómputo y el costo más alto dentro de todo el proceso de desarrollo de modelos de IA. Además, es la base previa para el posterior ajuste fino (Fine-tuning) y el entrenamiento de alineación (Alignment).

¿Cuál es la idea concreta de Vibe Coding y cómo lo define Karpathy?

Vibe Coding (codificación por atmósfera) es un método de desarrollo asistido por IA propuesto por Karpathy: el usuario se encarga principalmente de idear la creatividad y la lógica, y mediante instrucciones de prompts en lenguaje natural le indica a un asistente de código de IA que genere el código, sin necesidad de escribirlo por sí mismo. Tras plantearse esta idea, se convirtió rápidamente en un término ampliamente adoptado por la comunidad de desarrollo de IA, y representa un patrón de programación de colaboración humano-máquina con la IA como núcleo.

¿Qué relación concreta existe entre Anthropic y OpenAI en su creación?

Anthropic fue cofundada en 2021 por siete ex empleados de OpenAI, incluyendo a Dario Amodei (actual CEO) y Daniela Amodei (actual presidenta). Desde entonces, se han ido incorporando más ex empleados de OpenAI, entre ellos John Schulman, quien en 2024 se cambió a Anthropic, y también la incorporación de Karpathy en esta ocasión.