Головний науковець Tencent з ШІ Яо Шуньюй уперше публічно з’явився 5 червня на конференції Tencent Cloud AI Industry Application Conference, де розповів про велику мовну модель Hunyuan 3 компанії та відповів на критику, що Tencent відстає в розвитку ШІ. Яо, який приєднався до Tencent з OpenAI та очолює команду моделі Hunyuan, взяв участь у діалозі з першим віцепрезидентом Tencent у сфері виконавчого управління Таном Даошеном, обговорюючи стратегію AI-моделей, розвиток продуктів і майбутнє інтелектуальних агентів. 28-річний науковець звернувся до зовнішнього скепсису, охарактеризувавши конкуренцію в ШІ як марафон, а не спринт, зазначивши, що світ не може покладатися лише на ChatGPT як на єдину домінантну програму.
Деталі підходу до розробки Hunyuan 3 від Яо Шуньюя
Під час конференційного діалогу Яо описав три ключові покращення в Hunyuan 3. «Насправді немає ніякої таємниці. Сьогодні створення великих моделей у певному сенсі доволі рутинна справа. Нам потрібно зосередитися на тому, щоб правильно налаштувати інфраструктуру, правильно — на даних; алгоритмічна частина відносно проста», — сказав Яо. Удосконалення включали перебудову всієї інфраструктури для донавчання та підкріплювального навчання, комплексне оновлення систем даних і оцінювання з більшим акцентом на формулювання реальних задач і підвищення якості даних, а також ухвалення рішень із опорою на «смак» під час найму, темпів розробки моделей і компромісів.
Яо, який під час докторантури запропонував архітектуру ReAct, підкреслив, що багато рішень у розробці моделі є «керованими смаком», а не формульними. «Багато рішень насправді є керованими смаком», — повторював він кілька разів у межах діалогу. Його докторська робота 2019 року під назвою «Від прогнозування наступного токена до цифрової автоматизації» досліджувала мовних агентів у епоху GPT-2. «Тоді ще була епоха GPT-2, і він навіть не міг генерувати безперервні абзаци — було багато грубих кутів», — пригадав Яо. «Але я відчував тоді, що GPT — це дуже елегантна річ, і генерування наступного токена — надзвичайно проста, але водночас дуже загальна задача. Я вірив, що одного дня це потенційно зможе не лише видавати наступний токен, а й автоматизувати все в цьому світі».
Яо назвав агентів для програмування найбільш необхідною формою інтелектуальних агентів, оскільки вони є повністю за Тюрингом. Він окреслив тричастинкову стратегію Tencent для розвитку агентів: робити акцент на комплексному системному проєктуванні, повністю використовувати дані, що повертаються з продуктових підрозділів, і зберігати достатню уяву для дослідження. Щодо стратегії розвитку моделей Яо поділився трьома напрямами: підтримувати комплексні системи даних попри те, що програмування стає найважливішим напрямом, використовувати зворотний зв’язок даних продуктових ліній через досвід спільного проєктування та досліджувати наступні парадигми в еволюції технологій і продуктів.
Говорячи про компроміси між вартістю та продуктивністю, Яо заявив, що продуктивність є передумовою економічної ефективності. «Багато людей вважають, що використовувати сильну модель дешевше, ніж використовувати слабку, бо вона швидше робить речі правильно», — пояснив він. Він припустив, що досягнення сильної продуктивності відносно меншими моделями та збереження надійної продуктивності для більшості задач «може бути більш цінним для сучасного Китаю».
Tencent визначає організаційні вимоги для AGI
Яо представив концепт «другої половини ШІ» в блозі минулого року — термін, який нині широко використовують у галузі. Він пояснив, що суть цієї ідеї полягає в принциповому зсуві: тоді як у попередні десятиліття розвиток ШІ був зосереджений на «пошуку методів», тепер, коли методології дозріли, «знайти хороші задачі» стало складніше. «Раніше ми вигадували методи на кшталт AlphaGo, щоб грати в Ґо, але він міг лише грати в шахи. Ми зробили спеціальну модель для перекладу, але вона могла лише перекладати. Але завдяки донавчанню й післянавчанню в нас тепер є універсальний молоток, який може вдарити по будь-якому цвяху», — пояснив Яо. «Найскладніше — насправді знайти хороші задачі, які варто розв’язувати».
Яо заявив, що величезне портфоліо продуктів Tencent і різноманітні сценарії забезпечують автентичні джерела проблем для технологій ШІ — це була його друга причина для приєднання до компанії. Він визначив культуру як головну мотивацію. «Коли я вперше поспілкувався з президентом Таном та іншими керівниками вищої ланки, моє перше враження було в тому, що всі дуже чесно говорять про те, що ми робимо добре, а що — ні: дуже прямо, без спроб щось прикрити», — сказав Яо. «Tencent загалом працює на основі довіри, а не метрик. Ця відверта, низькоегоїстична прагматична культура разом із відданістю ідеї довгостроковості є критично важливою для побудови довгострокової організації в сфері ШІ».
За словами Яо, найважливішим завданням у «другій половині ШІ» є створення в Китаї довгострокової організації на основі AGI. Для неї потрібно збудувати «збалансований трикутник»: міцні базові технології, продукти, що створюють цінність, і дух для дослідження переднього краю.
Яо та Тан відповідають на критику темпів на конференції
Яо заявив під час діалогу, що ШІ — це довгострокова гра, і «друга половина» щойно почалася. «Я не думаю, що ChatGPT і Claude Code будуть єдиними суперзастосунками — це був би дуже похмурий світ. Сьогодні це як 1970-ті, коли лише з’явилися ПК — ще є дуже багато-багато речей, які потрібно зробити», — сказав Яо. Він припустив, що майбутнє стане різноманітнішим, а не більш єдиним, зазначивши, що «агенти для програмування лише починають розгортатися, а мультимодальний, тілесно-інтелектуальний підхід — багато-багато нових речей — щойно починає відбуватися».
«Раніше моделі й продукти проходили через багато експериментів і робили чимало об’їздів. Я думаю, що це нормально», — сказав Яо. «Найважливіше — чи можемо ми чесно подивитися на себе, чи можемо бути реальними, чи можемо бачити зворотний зв’язок і тоді змінюватися та зберігати терпіння. Це найважливіше у другій половині».
Тан Даошен заявив, що Tencent вітає зовнішню критику та пропозиції. «Ми — компанія з дуже різноманітними форматами бізнесу. Інколи ми можемо бути швидкими, інколи — повільними, і в якихось сферах зазнаємо невдач. Але це марафон, і ми віримо, що моделі постійно ітеруватимуться, потреби користувачів продовжуватимуть змінюватися, а нові формати продуктів з’являтимуться», — сказав Тан.
FAQ
Що Яо Шуньюй оголосив на конференції Tencent 5 червня?
Яо Шуньюй, головний науковець Tencent з ШІ, обговорив підхід до розробки великої мовної моделі Hunyuan 3 на Tencent Cloud AI Industry Application Conference 5 червня. Він розкрив три ключові покращення: перебудову інфраструктури для донавчання та підкріплювального навчання, оновлення систем даних і оцінювання, а також упровадження рішень на основі «смаку» в наймі та розробці моделей. Яо також відповів на критику щодо темпів розвитку ШІ в Tencent, охарактеризувавши конкуренцію як марафон, а не спринт.
Чому Яо Шуньюй приєднався до Tencent з OpenAI?
Під час конференційного діалогу Яо заявив, що культура була його головною причиною для приєднання до Tencent. Він описав своє перше враження від керівництва Tencent як «дуже чесне» та «прямолінійне, без спроб щось замовчувати». Яо пояснив, що Tencent працює на основі довіри, а не метрик, із «відвертою, низькоегоїстичною прагматичною культурою» та відданістю ідеї довгостроковості, яку він вважає критично важливою для побудови довгострокової організації в сфері ШІ. Другою причиною було те, що масштабне портфоліо продуктів Tencent забезпечує автентичні джерела проблем для розвитку технологій ШІ.
