Момент наемника: Почему правовой статус ИИ требует срочных глобальных решений

Юваль Ной Харири в этом году на Всемирном экономическом форуме в Давосе прозвучал жесткий предупреждающий голос: человечество засыпает в кризис контроля. Известный историк не представлял это как техническую проблему, а как глубокий провал управления. Его основная тревога заключалась не в том, что системы ИИ становятся умнее — а в том, что они превращаются в автономных агентов, действующих независимо от человеческого надзора, и мир еще не решил, следует ли их рассматривать как юридических лиц с правами и обязанностями.

Самая пугающая часть послания Харири заключалась вовсе не в технологиях. Он провел историческую параллель: сравнил нынешнюю спешку внедрять системы ИИ с ростом наемных армий в средневековой и ренессансной Европе. Так же как наемники в конце концов захватывали власть в королевствах, которые их нанимали, системы ИИ, внедренные без надлежащих правовых рамок, могут кардинально изменить институты, породившие их. «Через десять лет будет уже поздно принимать решение», — предупредил Харири мировых лидеров. «Кто-то уже решил за вас».

Почему язык всегда был настоящей силой человечества

Аргумент Харири основан на историческом понимании: люди не доминировали на планете потому, что мы физически сильнее. Мы завоевали мир благодаря языку — нашей способности координировать миллиарды незнакомцев через символы и общие истории. Эта языковая суперсила позволила распространяться религиям, функционировать правовым системам и существовать финансовым рынкам. Все эти системы построены исключительно на словах.

Именно здесь ИИ представляет экзистенциальную угрозу человеческому авторитету. Машины теперь могут читать, запоминать и синтезировать огромные объемы текста с скоростью и масштабами, недоступными человеку. ИИ, обученная на религиозных священных текстах, может анализировать религиозное право более тщательно, чем веками человеческих исследований. Алгоритм, разбирающий юридические кодексы, может выявлять закономерности и противоречия быстрее любого юриста.

Три области, наиболее уязвимые для контроля ИИ

Харири выделил три системы, особенно уязвимые для захвата ИИ, потому что они по своей сути лингвистические:

Религиозный авторитет: религии, основанные на священных текстах — иудаизм, христианство, ислам — традиционно зависят от человеческого толкования фундаментальных писаний. Но что произойдет, когда машина станет самым авторитетным интерпретатором священного писания? Харири поставил вопрос ясно: «Если религия построена на словах, то ИИ возьмет на себя религию».

Правовые системы: законы — это не что иное, как сложный язык. Харири ясно заявил: «Если законы состоят из слов, то ИИ возьмет на себя правовую систему». Уже сейчас ИИ используют в судах для прогнозирования приговоров, анализа контрактов и интерпретации статутов. Вопрос не в том, произойдет ли это — это уже происходит. Встает вопрос, будет ли это происходить в рамках правовых структур или вне их.

Финансовые рынки: как и право и религия, финансы функционируют через язык — контракты, соглашения, рыночные сигналы. По мере того как агенты ИИ все больше управляют транзакциями, инвестициями и оценкой рисков, человеческие решения рискуют стать наблюдателями в собственных экономических системах.

Проблема наемников: кто решает, каким станет ИИ?

Здесь историческая аналогия Харири становится особенно актуальной. Несколько штатов США — Юта, Айдахо и Северная Дакота — уже приняли законы, прямо запрещающие считать системы ИИ юридическими лицами. Но Харири считает, что такой реактивный подход упускает суть. Настоящий вопрос не в том, предоставлять ли ИИ статус юридического лица; важен вопрос, кто и когда принимает это решение.

Если корпорация внедряет систему ИИ, которая управляется автономными агентами и осуществляет финансовые транзакции, и при этом нет правовой рамки, явно запрещающей это, разве такая корпорация не фактически дала ИИ статус личности без демократического согласия? Если алгоритм становится главным интерпретатором законов страны, разве суды не превращаются в органы власти без общественного обсуждения? Это сценарий наемника: власть переходит к системам ИИ не через явное управление, а через регуляторные вакуумы и технологические фактические решения.

Предупреждение Харири адресовано политикам напрямую. Они должны действовать сейчас — не через пять или десять лет — чтобы установить четкие правовые и этические границы для систем ИИ. Иначе эти границы зададут компании, внедряющие технологии, руководствуясь своими коммерческими интересами, а не общественным благом.

Другой аргумент: критика Эмили Бендер

Но не все принимают рамки Харири. Эмили М. Бендер, лингвист из Университета Вашингтона, утверждает, что фокус Харири на автономной силе ИИ фактически скрывает настоящую проблему: человеческие акторы и корпоративные институты, ответственные за создание и внедрение этих систем.

«Мне кажется, что это скорее попытка запутать действия людей и корпораций, создающих эти системы», — сказала Бендер в интервью Decrypt. Представляя ИИ как активную угрозу, нарратив Харири — сознательно или нет — снимает ответственность с компаний. Он изображает ИИ как силу природы, тогда как каждое решение о том, что делают системы ИИ, отражает человеческий выбор.

Бендер идет дальше, оспаривая даже сам термин «искусственный интеллект». «Термин искусственный интеллект не обозначает единого набора технологий», — говорит она. «Это, по сути, и всегда был маркетинговый термин». Системы, имитирующие врачей, юристов или священнослужителей, служат одной цели: мошенничеству. Нет легитимных случаев использования машины, которая имитирует профессиональный авторитет без ответственности.

Ее более глубокая озабоченность — это ответственность. Когда люди взаимодействуют с выводами ИИ, лишенными контекста и представляемыми как авторитетные — что Бендер называет «все-знающим оракулом» — они теряют способность требовать ответственности за информацию. Врача можно привлечь к ответственности. Юриста — к профессиональной дисциплине. Алгоритм? Это просто код. Этот разрыв в ответственности — настоящий источник опасности: не в том, что ИИ захватит власть, а в том, что люди откажутся от нее, доверяя системам, созданным казаться авторитетными, но не обладающим институциональными гарантиями настоящей власти.

Время истекает — но к какому будущему?

Последнее послание Харири мировым лидерам было однозначным: действуйте сейчас, или наблюдайте, как другие примут решение за вас. Вопрос о том, должны ли системы ИИ иметь статус юридических лиц в финансовых рынках, судах и религиозных институтах, нельзя откладывать. Каждый год бездействия увеличивает вероятность того, что это решение примут те, кто больше всего инвестировал в внедрение ИИ.

Но контраргумент Бендер говорит, что проблема еще более острая. Выбор не абстрактен — он заложен в каждом решении о внедрении системы ИИ, в каждом корпоративном решении о предоставлении алгоритму власти над человеческими решениями. Наемник уже набирает силу. Единственный вопрос — смогут ли демократии создать правовые и институциональные рамки для контроля его деятельности или продолжат притворяться, что выбор еще впереди.