Karpathy junta-se à Anthropic: o pai do Vibe Coding lidera o treino preliminar do Claude

Andrej Karpathy, cofundador da OpenAI e antigo diretor de IA da Tesla, anunciou no dia 19 de maio, no X, que está a juntar-se à Anthropic. A partir desta semana, vai liderar a investigação do pré-treino da Claude com a equipa. A Anthropic confirmou que o pré-treino é a fase base para dotar a Claude de capacidades centrais de linguagem e é também o segmento com maior custo computacional em todo o processo de construção de modelos de IA.

Responsabilidades do pré-treino confirmadas: a fase mais cara ao dotar a Claude de capacidades centrais

A declaração oficial da Anthropic confirma que Karpathy é responsável pela investigação de pré-treino da Claude, ou seja, pelo treino de base do modelo com grandes quantidades de dados de treino, determinando as capacidades centrais de compreensão da linguagem e de raciocínio. Karpathy já tinha, em 2024, combinado agentes de codificação por IA com modelos de linguagem pequenos, concluindo 700 experiências em 2 dias e conseguindo reduzir o tempo de treino de grandes modelos em 11%. Este método de investigação automatizado é, na indústria, conhecido como «Karpathy Loop».

Trajetória profissional de Karpathy: do OpenAI à Anthropic

Karpathy foi um dos cofundadores da OpenAI em 2015. Em 2017, durante o período em que Elon Musk acumulava simultaneamente os cargos de diretor executivo da Tesla e de membro do conselho da OpenAI, levou-o para a Tesla como diretor de IA, liderando a equipa de visão por computador para condução assistida. Documentos judiciais mostram que Musk considerou, na altura, que Karpathy era o segundo posto mundial em visão por computador e disse: «As pessoas da OpenAI vão querer matá-lo, mas é algo que tem de ser feito.»

Karpathy deixou a Tesla em 2022, regressou por um curto período à OpenAI e, em seguida, fundou a nova empresa de educação em IA Eureka Labs. Também é o proponente do «Vibe Coding» — os utilizadores dão instruções a um assistente de escrita de código por meio de prompts, sem necessidade de escrever diretamente código; este conceito tornou-se rapidamente um termo comum na comunidade de desenvolvimento de IA.

Dinâmica de pessoal confirmada pela Anthropic este mês

O momento de integração de Ross Nordeen (membro fundador da xAI) na Anthropic ocorreu antes do anúncio de Karpathy no presente mês. A Anthropic confirmou ainda que Chris Rohlf, que já trabalhou na Yahoo e na Meta e tem 20 anos de experiência em cibersegurança, se juntou a uma equipa de red teaming de vanguarda para participar em trabalhos de testes de esforço. No mesmo dia em que Nordeen anunciou a sua entrada, a Anthropic chegou a um acordo com a SpaceX para alugar capacidade de computação da xAI. A Anthropic foi fundada em 2021 por sete antigos colaboradores da OpenAI, incluindo o atual CEO Dario Amodei e a atual presidente Daniela Amodei.

Perguntas frequentes

Que papel desempenha o pré-treino no desenvolvimento de modelos de IA e por que razão o custo é tão elevado?

O pré-treino é o processo de treino de base de um modelo de IA com grandes quantidades de dados de treino, determinando a compreensão da linguagem, o raciocínio e a acumulação de conhecimento do modelo. O treino exige uma grande quantidade de poder de GPU para operar continuamente durante semanas a meses, sendo o segmento do processo de desenvolvimento de modelos de IA com maior consumo de capacidade computacional e com custos mais elevados. É também uma base prévia para os treinos subsequentes de afinação (Fine-tuning) e de alinhamento (Alignment) de segurança.

Qual é o conceito concreto do Vibe Coding e como é que Karpathy o define?

Vibe Coding (codificação por ambiente) é uma forma de desenvolvimento assistido por IA proposta por Karpathy — os utilizadores são principalmente responsáveis por idealizar a criatividade e a lógica. Através de instruções por prompts em linguagem natural, o utilizador faz com que um assistente de escrita de código gerador gere código, sem necessidade de o escrever diretamente. Após a sua proposta, este conceito tornou-se rapidamente um termo amplamente adotado na comunidade de desenvolvimento de IA, representando um padrão de programação colaborativa entre humano e máquina com a IA no centro.

Que ligações de criação existem entre a Anthropic e a OpenAI?

A Anthropic foi criada em 2021 em conjunto por sete antigos colaboradores da OpenAI, incluindo Dario Amodei (atual CEO) e Daniela Amodei (atual presidente). Desde então, outros antigos colaboradores da OpenAI têm-se juntado progressivamente, incluindo John Schulman, que em 2024 transitou para a Anthropic, e também a integração de Karpathy desta vez.