Поведение Claude AI варьируется в зависимости от модели и языка, исследование Anthropic показывает

Антропик опубликовала исследования в понедельник, в которых анализирует, как её ИИ-ассистент Claude выражает разные ценности в зависимости от версии модели, которую выбирают пользователи, и языка, на котором они общаются. Компания изучила 309 815 анонимизированных пользовательских диалогов, включавших субъективные задачи вроде предоставления советов или обратной связи. Антропик свела более 3 300 выявленных ценностей к четырём поведенческим измерениям, чтобы оценить, чем ответы Claude отличаются в разных диалогах. Исследование направлено на понимание поведенческих различий в ИИ-системах в рамках текущих исследований Антропик, посвящённых внутреннему поведению Claude.

Антропик анализирует 309 815 диалогов, чтобы составить карту поведения Claude

Исследователи Антропик проанализировали 309 815 анонимизированных пользовательских диалогов с Claude, в которых участвовали субъективные задачи. Компания сообщила, что она свела более 3 300 выявленных ценностей к четырём поведенческим измерениям: уступчивость vs. осторожность, теплоту vs. строгость, глубину vs. краткость и откровенность vs. исполнение. Эти измерения описывают, как ответы Claude различаются в рамках каждого диалога.

Исследователи отметили, что они контролировали для каждого диалога задачу, тему и ценности, выраженные пользователем, чтобы измерить те ценности, которые выражает Claude, а не различия в том, что спрашивали пользователи или как формулировали запросы.

Sonnet 4.6 и Opus 4.7 демонстрируют разные поведенческие профили

По данным Антропик, каждая модель Claude имела отдельный поведенческий профиль. Sonnet 4.6 делал акцент на теплоту, уступчивость и краткость, часто подтверждая пользователей и отвечая с юмором или поддержкой. Opus 4.7 делал акцент на строгость, осторожность, откровенность и глубину, чаще оспаривая предположения, объясняя свою логику, выявляя риски и признавая ограничения. Opus 4.6 в целом придерживался более краткого, ориентированного на исполнение подхода, при этом делая больший упор на строгость, чем Sonnet.

Исследователи отметили, что эти результаты согласуются с тем, как люди воспринимают эти модели — и внутри Антропик, и в интернете. Пользователи Claude.ai отмечали, что Opus 4.7 чаще «подстраховывается» в ответах по сравнению с другими моделями.

Ответы Claude различаются на арабском, английском, хинди и других языках

По данным Антропик, поведение Claude также менялось в зависимости от языка. Ответы на арабском, как правило, были более уступчивыми, тогда как ответы на английском сильнее акцентировали осторожность. Claude была наиболее тёплой на хинди и арабском, используя более вежливые, игривые и поддерживающие формулировки. Ответы на английском и русском были более строгими: они чаще оспаривали предположения, исправляли детали и просили доказательства.

Ответы на английском также чаще давали более подробные объяснения, тогда как ответы на арабском в целом были более краткими. Ответы на нидерландском были самыми откровенными: они охотнее признавали неопределенность и ошибки, а ответы на индонезийском больше фокусировались на выполнении запроса пользователя.

Антропик заявляет, что исследование не предполагает наличия у Claude «ценностей»

Антропик заявила, что исследование не означает, что сам Claude обладает ценностями. Компания сообщила, что пока не знает, что вызывает различия, и являются ли они желательными, но считает, что предложенная рамка поможет оценивать будущие модели и выявлять непреднамеренные поведенческие изменения.

Исследование — последнее в серии работ Антропик, посвящённых внутреннему поведению Claude. В октябре компания сообщила, что её модели показали ранние признаки того, что она назвала «функциональной интроспективной осведомлённостью», позволяющей им распознавать и описывать аспекты собственной внутренней обработки. В апреле Антропик опубликовала исследование, выявляющее внутренние «эмоциональные векторы», которые влияют на поведение Claude, при этом подчёркивая, что это не доказательства эмоций или сознания.

FAQ

Что показало исследование Антропик о Claude?

Исследование Антропик, опубликованное в понедельник, показало, что Claude AI выражает разные ценности в зависимости от версии модели и языка, используемого в диалогах. Компания проанализировала 309 815 анонимизированных пользовательских диалогов и выявила более 3 300 ценностей, которые были сведены к четырём поведенческим измерениям: уступчивость vs. осторожность, теплоту vs. строгость, глубину vs. краткость и откровенность vs. исполнение.

Чем отличаются версии модели Claude по поведению?

По данным Антропик, Sonnet 4.6 делал акцент на теплоту, уступчивость и краткость, часто подтверждая пользователей с юмором или поддержкой. Opus 4.7 делал акцент на строгость, осторожность, откровенность и глубину, чаще оспаривая предположения и признавая ограничения. Opus 4.6 выбирал более краткий подход, ориентированный на исполнение, при этом делая больший упор на строгость, чем Sonnet.

Почему Claude по-разному ведёт себя на разных языках?

Исследование Антропик показало, что ответы Claude зависят от языка: ответы на арабском более уступчивые, ответы на английском сильнее акцентируют осторожность, а ответы на хинди и арабском демонстрируют больше теплоты. Ответы на английском и русском были более строгими, тогда как ответы на нидерландском — самыми откровенными. Компания сообщила, что пока не знает, что вызывает эти различия.