Карапаті приєднався до Anthropic: засновник Vibe Coding керує попереднім тренуванням Claude

Засновник OpenAI та колишній технічний директор з AI в Tesla Андрій Карпаті 19 травня оголосив у X, що приєднався до Anthropic. Починаючи з цього тижня, він керуватиме командою, яка відповідатиме за дослідження попереднього тренування Claude. Anthropic підтвердив, що попереднє тренування є базовим етапом, який надає Claude ключові мовні можливості, і водночас є найдорожчим з погляду обчислювальних витрат етапом у всьому процесі побудови AI-моделі.

Підтверджені обов’язки на етапі попереднього тренування: найдорожчий етап для надання Claude ключових можливостей

Офіційна заява Anthropic підтвердила, що Карпаті відповідає за дослідження попереднього тренування Claude: тобто базове навчання моделі на великомасштабних масивах даних, яке визначає її ключові здібності до мовного розуміння та міркувань. Раніше Карпаті у 2024 році поєднав AI-кодинг-агентів із невеликими мовними моделями та за 2 дні провів 700 експериментів, успішно скоротивши час тренування великої моделі на 11%. Цей автоматизований дослідницький підхід у галузі називають «Karpathy Loop».

Траєкторія кар’єри Карпаті: шлях від OpenAI до Anthropic

Карпаті був одним із співзасновників OpenAI у 2015 році. У 2017-му Ілон Маск, обіймаючи посади одночасно в Tesla та в раді директорів OpenAI, переманив його до Tesla на посаду технічного директора з AI та очолення команди комп’ютерного зору для систем автоматизованої допомоги водієві. Судові документи вказують, що тоді Маск оцінював Карпаті як «друге крісло» у сфері комп’ютерного зору в усьому світі та сказав: «Люди з OpenAI захочуть його вбити, але це те, що треба зробити».

У 2022 році Карпаті залишив Tesla, ненадовго повернувся до OpenAI, а потім заснував AI-стартап у сфері освіти Eureka Labs. Він також є автором ідеї «Vibe Coding» — коли користувачі через підказки дають AI-асистенту вказівки написати код, без необхідності безпосередньо писати програму. Ця концепція швидко стала загальноприйнятим терміном у спільноті розробки AI.

Цього місяця Anthropic підтверджує кадрові зміни

Термін, коли Росс Нордін (один із засновників xAI) приєднався до Anthropic, був раніше, ніж Карпаті оголосив про свій прихід цього місяця. Anthropic також підтвердив, що Кріс Ролф, який раніше працював у Yahoo та Meta та має 20 років досвіду в кібербезпеці, приєднався до передової червоної команди та працюватиме над стрес-тестуванням. У день оголошення про приєднання Нордін, Anthropic і SpaceX уклали угоду, згідно з якою компанія орендує обчислювальні потужності xAI. Anthropic заснували у 2021 році сім осіб — колишні співробітники OpenAI, серед них чинний CEO Dario Amodei та чинний президент Daniela Amodei.

Поширені запитання

Яку роль у розробці AI-моделей відіграє попереднє тренування, і чому воно таке дороге?

Попереднє тренування — це процес базового навчання AI-моделі на великомасштабних масивах даних, який визначає розуміння мовою, міркування та накопичення знань. Під час навчання потрібні великі обчислювальні потужності GPU, які безперервно працюють протягом тижнів або місяців. Це найдорожчий з погляду витрат на обчислення і найдорожчий за вартістю етап у всьому процесі розробки AI-моделі. Він також є передумовою для подальшого мікронавчання (Fine-tuning) та тренування з безпеки й узгодження (Alignment).

У чому конкретно полягає ідея Vibe Coding, і як Карпаті її визначає?

Vibe Coding (візуально-емоційне програмування) — це запропонований Карпаті спосіб AI-допоміжної розробки: користувачі в основному відповідають за формування ідей та логіки, а через підказки природною мовою дають AI-асистенту команду згенерувати код, без необхідності писати код вручну. Після появи цієї концепції вона швидко стала широко вживаним терміном у спільноті розробки AI та означає модель людино-машинної співпраці у програмуванні, де ядром є AI.

Який конкретний зв’язок існує між Anthropic і OpenAI у контексті заснування?

Anthropic було створено у 2021 році спільно сімома колишніми співробітниками OpenAI, зокрема Dario Amodei (нинішній CEO) та Daniela Amodei (нинішній президент). З того часу до компанії поступово приєднувалися й інші колишні співробітники OpenAI, зокрема John Schulman у 2024 році перейшов до Anthropic, а також тепер — Карпаті.