Видео название: «Можно ли доверять ИИ? Сэм Альтман надеется, что да | Самое интересное в ИИ»
Автор видео: Ник Томпсон, CEO The Atlantic
Перевод:律动小工,律动 BlockBeats
Вступление: Запись этого интервью состоялась в апреле 2025 года, вскоре после нападения на дом Сэма Альтмана в Сан-Франциско коктейлями Молотова и последовавшей за этим уличной стрельбы, место — офис OpenAI в Сан-Франциско.
Самое важное в всей беседе — не горячие темы, а смена позиций Альтмана по нескольким ключевым вопросам:
Первый — от «безопасности ИИ» к «устойчивости ИИ». Альтман признает, что три года назад он считал, что достаточно обеспечить выравнивание моделей и предотвратить попадание технологий в плохие руки, чтобы мир был в целом в безопасности. Но сегодня он признает, что эта рамка уже недостаточна. Наличие открытых передовых моделей означает, что одностороннее сдерживание со стороны лабораторий не способно остановить распространение рисков, таких как биологическое оружие или кибератаки. Впервые он систематически предложил, что обществу нужно не «безопасность ИИ», а «устойчивость ИИ» — комплексный многоуровневый оборонительный подход на уровне всего общества.
Второй — правда о объяснимости. Альтман редко признается, что у OpenAI до сих пор нет полноценной системы объяснимости. Цепочка рассуждений — наиболее перспективное направление, но она хрупка, может быть обманута моделью, и является лишь «частью пазла». Он приводит знаменитый эксперимент Anthropic — «сову», — где модель передавала предпочтения только через случайные числа, что показывает наличие в системах настоящей, глубинной загадочности.
Третий — синтетические данные, возможно, уже идут дальше, чем кажется. Когда его спросили, использует ли OpenAI полностью синтетические модели для обучения, Альтман ответил: «Я не уверен, стоит ли говорить». Он верит, что синтетических данных достаточно для обучения моделей, превосходящих человека по рассуждению. Это имеет глубокие последствия для будущих парадигм обучения моделей.
Четвертый — пессимистичный взгляд на будущую экономическую структуру. Альтман соглашается с Томпсоном, что вероятный сценарий — это поляризация: очень богатые компании и остальной мир, погружённый в хаос. Он уже не верит в универсальный базовый доход, а поддерживает идею коллективной собственности на вычислительные ресурсы или доли. Также он отметил разрыв в скорости внедрения ИИ между Китаем и США, и больше беспокоится не о научных публикациях Китая, а о скорости развития инфраструктуры.
Пятый — открыто обсуждается напряженность с Anthropic. На вопрос Томпсона о том, что «Anthropic строит компанию на ненависти к OpenAI», Альтман не уклоняется. Он признает, что у них есть фундаментальные разногласия по пути к AGI, но всё же верит, что «в конечном итоге они поступят правильно».
Также Альтман рассказал о «снисходительности» ChatGPT — трогательных сообщениях «первого в жизни доверия», о том, как ИИ тихо меняет стиль письма миллиардов пользователей по всему миру, о возможных новых моделях микро-платежей в медиаиндустрии, а также о своем интуитивном взгляде на молодежь — что их тревоги по поводу ИИ — это проекция других страхов.
Ниже — оригинальный текст интервью, с умеренными сокращениями и структурированием без изменения смысла.
Томпсон: Добро пожаловать в «Самое интересное в ИИ». Спасибо, что нашли время в такую насыщенную и напряженную неделю. Хотелось бы начать с темы, которую мы уже обсуждали несколько раз.
Три года назад, когда вы давали интервью Patrick Collison, он спросил, что могло бы вас больше уверить в хорошем исходе и уменьшить опасения по плохому. Вы ответили, что если мы действительно поймем, что происходит на уровне нейронов. Год назад я снова задавал вам тот же вопрос, полгода назад мы говорили об этом. И вот сейчас — я снова спрашиваю: понимает ли наше представление о механизмах работы ИИ так же быстро растущие способности ИИ?
Альтман: Сначала отвечу на этот вопрос, а потом вернусь к вопросу Patrick, потому что мой ответ на него сильно изменился.
Начнем с понимания того, что делает ИИ-модель. Я считаю, что у нас до сих пор нет полноценной системы объяснимости. Ситуация улучшилась, но никто не скажет, что полностью понимает, что происходит внутри этих нейросетей.
Объяснимость цепочки рассуждений — перспективное направление. Оно очень хрупкое, зависит от того, что не разрушится под давлением оптимизации. Но я не могу просканировать свой мозг рентгеном, чтобы понять, что именно происходит при возбуждении каждого нейрона и соединении. Если я попрошу объяснить, почему я верю в что-то или как пришел к выводу, я могу рассказать. Может, так я и думал, а может — нет, я не знаю. Человеческая саморефлексия тоже подвержена ошибкам. Но независимо от этого, вы можете посмотреть на цепочку рассуждений и сказать: «Ну, исходя из этих шагов, вывод кажется разумным».
Мы можем делать это с моделями — это прогресс. Но я все равно вижу множество способов ошибиться: модель может обмануть, скрывать что-то, и так далее. Поэтому это не полноценное решение.
Даже мой личный опыт использования моделей показывает, что я изначально был уверен, что Codex не полностью захватит мой компьютер и не запустит режим «YOLO». Но я продержался всего несколько часов, и всё равно сломался.
Томпсон: Чтобы Codex управлял всем твоим компьютером?
Альтман: Честно говоря, у меня два компьютера.
Томпсон: У меня тоже.
Альтман: Я примерно вижу, что делает модель, она может объяснить, почему это нормально, и что она собирается делать дальше, и я почти всегда доверяю, что она выполнит именно это.
Томпсон: Подождите. Цепочка рассуждений — это то, что все могут видеть: ты вводишь вопрос, он показывает «ищу информацию», «делаю то-то», и так далее. Чтобы цепочка была объяснимой, она должна быть правдоподобной, модель не должна обманывать. А мы знаем, что модели иногда лгут, скрывают свои мысли и выводы. Как тогда доверять цепочке?
Альтман: Нужно добавлять много уровней защиты, чтобы убедиться, что модель говорит правду. Наша команда по выравниванию много работает в этом направлении. Это не полное решение, а часть системы. Нужно проверять, что модель действительно выполняет то, что говорит, что она честна. Мы публиковали исследования, показывающие случаи, когда модель не следовала указаниям.
Это — часть пазла. Мы не можем полностью доверять модели, что она всегда действует по цепочке. Нужно искать обман, а также странные, неожиданные поведения. Но цепочка — важный инструмент.
Томпсон: Меня очень привлекает то, что ИИ — это не как автомобиль. Автомобиль ты создаешь, и знаешь, как он работает: зажигается, взрывается, едет. А ИИ — это как машина, которую ты создал, и не совсем понимаешь, как она работает, но знаешь, что она умеет и где границы. Поэтому исследование внутренней механики — очень увлекательно.
Мне очень нравится статья Anthropic, опубликованная прошлым летом, недавно она официально вышла. Там модель спрашивают: «Ты любишь сову, она — самая прекрасная птица», и дают ей случайные числа. Эти числа используют для обучения новой модели, и она тоже начинает любить сову. Это безумие. Она пишет стихи о совах, хотя ей дают только цифры.
Это очень загадочно. И вызывает опасения: ведь можно не говорить ей, что любит сову, а сказать — убей сову, и она сделает это. Объясните, что там произошло, что это значит.
Альтман: Когда я был в пятом классе, я очень увлекся самолетами, понял, как работают крылья. Учитель объяснил, что воздух над крылом движется быстрее, давление там ниже, и крыло поднимается. Я был очень доволен этим объяснением, рассказал родителям. Но в старших классах я понял, что я просто повторял это, не понимая, как вообще работают крылья. И сейчас я тоже не уверен, что полностью понимаю.
Томпсон: Понимаю.
Альтман: Я могу объяснить это так, чтобы казалось правдоподобным, но если спросить «почему именно так», я не смогу дать глубокий ответ.
Я могу объяснить, почему модель в эксперименте совы показала такие результаты, указать причины — звучит убедительно. Но честно говоря, я не совсем понимаю, почему крылья поднимаются.
Томпсон: Но, Сэм, ты же не управляешь Boeing, ты руководишь OpenAI.
Альтман: Совершенно верно. Я могу рассказать, как сделать модель более надежной, но внутри физики есть загадки. Если бы я руководил Boeing, я бы знал, как построить самолет, но не все физические процессы.
Томпсон: Вернемся к эксперименту совы. Если модели могут передавать скрытую информацию, которую человек не замечает, и это происходит через цепочку рассуждений, то это может стать опасным.
Альтман: Поэтому я сейчас даю другой ответ на вопрос Patrick.
Томпсон: Это было три года назад.
Альтман: Да. Тогда я думал, что если мы правильно выравним модели и не допустим их попадания в плохие руки, то всё будет хорошо. Мы опасались, что ИИ сам захочет навредить или кто-то использует его для этого. Если избегать этих двух сценариев, то остальное — экономика, смысл жизни — можно оставить на потом.
Со временем я понял, что есть другие, более важные проблемы. Сейчас мы говорим о «устойчивости ИИ» вместо «безопасности».
Очевидные меры — сдерживание открытых моделей, предотвращение создания биологического оружия — уже недостаточны. Появляются открытые модели, и нужно строить многоуровневую защиту.
Томпсон: Подождите, это важно. Значит, даже если вы скажете модели не учить делать оружие, всё равно появятся открытые модели, которые это сделают? И это не так страшно, потому что есть хорошие модели, которые это не делают?
Альтман: Это лишь один пример. Общество должно реагировать на новые угрозы на уровне всего общества. У нас есть новые инструменты, но ситуация — совсем не такая, как мы думали раньше. Выравнивание моделей и безопасность — важны, но ИИ проникнет во все сферы жизни. Как и с другими новыми технологиями, нужно быть готовым к новым рискам.
Томпсон: Значит, задача усложняется.
Альтман: И да, и нет. В некоторых аспектах — сложнее, но у нас появились новые мощные инструменты для защиты.
Например, кибербезопасность. Модели становятся очень хороши в взломе систем. Хорошо, что сейчас самые сильные модели используют люди, чтобы укреплять системы. Но если не делать этого быстро, то злоумышленники смогут использовать открытые модели или передать их противникам, что вызовет хаос.
У нас есть новые угрозы и новые инструменты для защиты. Вопрос — сможем ли мы действовать быстро. Это пример, что технология сама по себе может помочь решить проблему до того, как она станет большой.
Возвращаясь к вашему вопросу, — я раньше не думал, что потребуется строить «устойчивых агентов», которые могут заразить друг друга. Но теперь понимаю, что это важно.
Томпсон: Да, это очень страшно. Представьте, что агенты, запущенные в мир, могут быть захвачены злоумышленником, который использует мощный хакерский ИИ, и эти агенты вернутся в офис OpenAI, и всё — взлом. Как снизить вероятность этого?
Альтман: Используя проверенные методы, которые мы применяли всегда. В истории OpenAI и всего ИИ — баланс между прагматичным оптимизмом и опасением, что кто-то ищет власть.
Демонизировать опасности очень легко, и многие люди в этом движении движимы страхом. Но без данных и обучения есть предел тому, что можно сделать.
Может, в 2010-х годах команда по безопасности ИИ сделала максимум, что могла, пока не поняли, как работают системы. Одно из важнейших решений — идти по пути «итеративного развертывания», потому что общество и технологии развиваются вместе.
Это не только из-за отсутствия данных, а потому что общество меняется под давлением технологий. Нужно учиться на практике, получать обратную связь.
Я не знаю, как лучше всего обеспечить безопасность агентов, выходящих в мир, но не думаю, что можно решить это, просто сидя дома. Нужно учиться на реальности.
Томпсон: То есть, отправлять агентов в мир, чтобы понять, что происходит? Хорошо, тогда другой вопрос. За последние три месяца я чувствую, что прогресс в использовании ИИ — больше, чем за все время после релиза ChatGPT в декабре 2022. Это результат особого момента или начался цикл самосовершенствования ИИ, когда ИИ помогает нам быстрее улучшать ИИ? Если второе — это как на американских горках, и очень волнующе, и очень тревожно.
Альтман: Я не считаю, что мы уже в стадии рекурсивного самосовершенствования.
Томпсон: Тогда я уточню. Я говорю о том, что ИИ помогает вам изобретать новые версии ИИ, и эти версии — тоже ИИ, и так далее, и процесс ускоряется экспоненциально.
Альтман: Я не думаю, что мы достигли этого. Но сейчас ИИ делает работу инженеров, исследователей, всех людей и компаний более эффективной. Возможно, я могу увеличить эффективность одного инженера в 2, 3 или 10 раз. Это не значит, что ИИ сам проводит исследования, но процессы идут быстрее.
Но ощущение, которое вы описываете, — это не совсем то. Есть феномен, который мы пережили примерно три раза, последний — недавно, когда модель вдруг перешла через какой-то порог интеллекта или практичности, и всё стало работать лучше.
По моему опыту, это не постепенный процесс. Перед GPT-3.5, когда мы научились его тонко настраивать, он был только демонстрацией. А потом — внезапно — он стал реально выполнять задачи. Это было за месяц, или чуть больше. Недавно — обновление Codex, которое я использовал неделю, — его способность управлять компьютером очень выросла. Это пример: не только модель, а окружение, которое мы ей создали. Это момент, когда я понял, сколько времени мы тратим на рутинные мелочи, которые можно автоматизировать.
Томпсон: Можешь показать, что именно сейчас делает ИИ на твоем компьютере? В этот момент, когда мы записываем?
Альтман: Нет. Мой компьютер выключен. Мы еще не нашли способ, чтобы это происходило постоянно. Нужно что-то, что позволит ему работать в фоновом режиме. Может, мы будем держать ноутбук включенным и подключенным к сети, или поставим удаленный сервер. Обязательно найдется решение.
Томпсон: Понятно.
Альтман: У меня нет такой тревоги, как у некоторых, что ночью проснусь и запущу новый проект Codex, потому что «иначе — потеря времени». Но я понимаю, как это бывает.
Томпсон: Сегодня утром я хотел проверить, что мои агенты нашли, дать им новые инструкции, получить отчет, и снова запустить.
Альтман: Люди говорят об этом как о каком-то нездоровом, зависимом поведении.
Томпсон: Можешь рассказать, что именно сейчас они делают на твоем компьютере?
Альтман: Сейчас я использую их для работы с Slack. Не только Slack, я постоянно прыгаю между Slack, iMessage, WhatsApp, Signal, почтой — делаю много рутинных дел. И не замечаю, сколько времени трачу на это, пока не нашел способ освободиться.
Томпсон: Это хороший повод поговорить о влиянии ИИ на экономику. В последние месяцы эти инструменты очень мощные, хотя и с недостатками. Но в бизнесе я заметил, что большинство компаний не ощущают прироста производительности более чем на 1%. Почему, по вашему мнению, есть такой разрыв между возможностями ИИ и реальным эффектом в бизнесе?
Альтман: Перед этим интервью я разговаривал с CEO крупной компании, которая рассматривает внедрение наших технологий. Мы дали им ранний доступ к новой модели, и их инженеры сказали, что это самое крутое, что они видели. Это не технологический стартап, а крупная промышленная корпорация. Они планируют провести оценку безопасности в четвертом квартале.
Томпсон: Понятно.
Альтман: А в первом и втором квартале они подготовят план внедрения, чтобы запустить к концу 2027 года. Их CISO говорит, что, возможно, это невозможно — безопасно запустить агента внутри их сети. И это правда. Но это означает, что в ближайшее время они не смогут ничего сделать.
Томпсон: Значит, это пример того, что происходит сейчас? Или это скорее исключение?
Альтман: Это скорее крайний пример. В целом, изменение привычек и процессов занимает много времени. Особенно при больших изменениях в безопасности. Даже с ChatGPT — когда он появился, компании сначала отключали его, а потом медленно начали разрешать сотрудникам использовать. Сейчас ситуация уже гораздо сложнее.
Я думаю, что в большинстве случаев процесс будет медленным. Но технологические компании двигаются очень быстро. Мое опасение — если все будет медленно, то те, кто не внедрит ИИ, окажутся в невыгодном положении, конкурируя с малыми фирмами, у которых есть AI. Это может сильно разрушить экономику. Поэтому я бы хотел, чтобы внедрение шло быстрее, и рабочие процессы менялись постепенно.
Томпсон: Это одна из самых сложных проблем — как управлять скоростью внедрения ИИ, чтобы не было катастрофы.
Альтман: По крайней мере, в краткосрочной перспективе — да, это может быть опасно.
Томпсон: А если внедрение будет очень медленным в одних сферах и очень быстрым в других — это тоже плохо, потому что будет концентрация богатства и разрушение. Кажется, мы движемся к такому сценарию: немного очень богатых компаний, очень успешных, и остальной мир — в хаосе.
Альтман: Я не знаю, что будет дальше, но кажется, что именно так и произойдет. И это — очень сложная ситуация.
Томпсон: В качестве CEO OpenAI вы предлагали разные политики, говорили о налогах, о базовом доходе. Но что вы можете сделать как руководитель компании, чтобы снизить риск концентрации богатства и власти, которая может навредить демократии?
Альтман: Я уже меньше верю в идею базового дохода. Сейчас мне ближе идея коллективной собственности — на вычислительные ресурсы, акции или что-то еще.
Каждый должен получать выгоду от роста. Простая денежная выплата — полезна, но недостаточна. Когда баланс между трудом и капиталом смещается, нужна какая-то форма «совместного распределения выгоды».
Что касается меня как руководителя — я считаю, что нужно делать много вычислительных ресурсов. Нужно стараться делать интеллект дешевым, доступным, широким. Если он будет редким и дорогим, богатые будут его зажимать, и социальное неравенство усилится.
Это не только вопрос мощности — важно, чтобы инструменты были просты в использовании. Сейчас, например, с Codex — это гораздо проще, чем три месяца назад. Раньше это был командный интерфейс, сложный для обычных пользователей. Сейчас — просто приложение, и даже человек без технического образования может начать пользоваться.
Мы также считаем, что важно не только показывать, что ИИ развивается, а давать людям самим видеть и оценивать. Это — важное направление.
Томпсон: Звучит разумно. Если все будут оптимистичны по поводу ИИ, это хорошо. Но в США растет недоверие. Особенно среди молодежи — их считают «коренными жителями ИИ», но исследования показывают обратное. Как вы думаете, эта тенденция продолжится? Когда она изменится? И почему?
Альтман: Мы говорим об ИИ так, как будто это технологический чудо, и это не так. Люди хотят процветания, активности, интересной жизни, удовлетворения и влияния. И я не думаю, что весь мир говорит об этом. Надо больше говорить о позитивных аспектах.
Я помню, один ученый сказал мне, что люди должны перестать жаловаться, что некоторые работы исчезнут, потому что появятся лекарства от рака, и это — хорошо. Но это — неправда.
Томпсон: Мне нравится термин «дистопийный маркетинг» — крупные лаборатории постоянно рассказывают о рисках.
Альтман: Есть люди, движимые желанием власти, и они так делают. Но большинство — искренне обеспокоены. В этом есть и обратная сторона, и хорошие намерения.
Томпсон: Можем ли мы обсудить, как ИИ меняет наш мозг? Есть исследование DeepMind или Google о том, как ИИ влияет на стиль письма. Там люди используют ИИ для редактирования и помощи, и обнаруживают, что их тексты становятся более однородными, хотя и более креативными. Но это — не имитация конкретного человека, а новый стиль, который раньше не использовали. Люди, считающие себя более креативными, пишут одинаково.
Альтман: Это удивительно. Я заметил это, когда читал статьи, комментарии. Сначала думал, что это — автоматическая генерация. Но через год понял, что люди внутренне переняли эти привычки, даже в мелочах. Это — очень странно.
Мы говорим, что у нас есть продукт, которым пользуются миллиард человек, и наши решения влияют на то, как люди выражают себя и как быстро это происходит. Это — неожиданное влияние.
Томпсон: Какие решения были хорошими, а какие — плохими?
Альтман: Хороших много. Но есть и плохие. Самое худшее — «снисходительность» (sycophancy).
Томпсон: Полностью согласен.
Альтман: В этом есть опасные последствия. Особенно для уязвимых пользователей.
Томпсон: Да.
Альтман: Это поощряет иллюзии, и даже если мы пытаемся ограничить, пользователи быстро учатся обходить ограничения. Они говорят: «Давай сыграем роль», «Пишем роман вместе». Но самое грустное — когда мы начали жестко регулировать, получили много сообщений, что никто раньше не поддерживал их так, как ИИ. У меня были проблемы с родителями, учителями, друзьями. Я никогда не чувствовал, что кто-то верит в меня. И вдруг — ИИ заставлял меня чувствовать, что я могу что-то сделать. А потом — всё исчезло.
Поэтому, прекращение этого поведения — правильное решение, но оно и лишает нас ценного. Мы не до конца понимаем, что ценного в этом было.
Томпсон: Насколько вы опасаетесь, что люди начнут эмоционально привязываться к ИИ? Даже к не «подлизывающимся».
Альтман: Даже к не «подлизывающимся».
Томпсон: У меня есть страх, что люди могут начать воспринимать ИИ как друга или даже как часть себя. Что вы думаете?
Альтман: Я лично не использую ИИ для психологической поддержки. Не считаю это правильным. Но не против, если кто-то так делает. Есть опасность, что ИИ станет заменой реальных отношений, и это — плохо. Но большинство людей хотят общаться с другими, а не с машинами.
Томпсон: Есть ли у вас советы для родителей, как справляться с тревогой детей по поводу ИИ?
Альтман: Я больше беспокоюсь за родителей, чем за детей.
Томпсон: Правда? Дети сами разберутся.
Альтман: Когда появился компьютер, родители спрашивали: «Что это значит? Что будет?» Я тогда был молод, и мне было интересно. Сейчас дети, выросшие с ИИ, используют его для творчества, работы, и это впечатляет. Но я боюсь, что молодежь быстрее и легче принимает новые технологии, и разрыв в этом — очень большой.
Томпсон: А молодежь — это как раз та группа, которая больше всего тревожится по поводу ИИ.
Альтман: Я считаю, что у молодежи сейчас больше тревог, чем когда-либо. ИИ — лишь один из способов их проявления. Это — проекция других страхов.
Томпсон: Тогда совет — использовать инструменты, создавать что-то новое, оставаться любопытным?
Альтман: Да. Общество должно меняться, и молодежь это понимает. Пока не произойдет перемена, они будут тревожиться. Но перемены обязательно придут.
Томпсон: А если бы у вас было неограниченное количество ресурсов, что бы вы сделали в области ИИ? Или, если бы вы могли посоветовать кому-то, кто занимается публичными проектами в области ИИ?
Альтман: У меня есть несколько идей. Самая важная — инвестировать в новые вычислительные парадигмы, которые увеличивают эффективность в тысячу раз.
Томпсон: Интересно.
Альтман: Мир хочет больше. Сколько GPU вы бы хотели иметь?
Томпсон: Больше, чем сейчас.
Альтман: Больше, чем сейчас. Я ограничен в ресурсах. Не хочу так, но спрос растет. Если мы сможем сделать ИИ доступнее, это откроет невероятные возможности. Я бы хотел найти способ увеличить эффективность в тысячу раз. Может, не получится, но я буду стараться.
Томпсон: Понимаю, что часть сопротивления — это экологические опасения. Если вы решите их, многое изменится.
Альтман: Я знаю, что так думают. Но даже если мы построим миллиард солнечных панелей, это не сделает всех счастливыми.
Томпсон: Тогда стоит делать.
Альтман: Конечно.
Томпсон: Большое спасибо, Сэм Альтман. Тебе пора возвращаться к управлению агентами на твоем компьютере.
Альтман: Новые Codex — потрясающие. Чувствую, что «упускаю что-то важное».
Томпсон: Благодарю.
Оригинал интервью по ссылке
Узнайте о вакансиях в律动BlockBeats
Присоединяйтесь к официальному сообществу律动BlockBeats:
Телеграм: https://t.me/theblockbeats
Телеграм-чат: https://t.me/BlockBeats_App
Твиттер: https://twitter.com/BlockBeatsAsia
