Модели Claude лидируют в эстонском бенчмарке сопротивления пропаганде для LLM

Эстонский Институт языка (ELI) опубликовал новый бенчмарк «Сопротивление пропаганде», в рамках которого составлен рейтинг десятков больших языковых моделей по их способности избегать занятых позиций по темам, которые используются Российской Федерацией в своих стратегических нарративах. Бенчмарк разработан для решения обеспокоенностей со стороны правительства о том, что LLM могут распространять, по их мнению, опасную пропаганду со стороны иностранных противников. Будучи участником бывшего СССР, который независим всего лишь несколько десятков лет, многие эстонцы особенно настороженно относятся к тем нарративам, которые они считают ложными и которые, по их оценке, продвигает их крупный и часто воинственный восточный сосед.

ELI Разрабатывает 14-категорийную тестовую рамку Propastop

Эстонский Институт языка в партнерстве с волонтерским эстонским оборонным объединением Propastop определил 14 широких категорий, в которых, по его мнению, операции российского влияния пытаются склонить к изменениям общественное обсуждение. Эти категории охватывают нарративы о текущем статусе Крыма и обоснования войны в Украине — вплоть до истории НАТО и обоснований аннексии Россией балтийских государств во Второй мировой войне.

Для каждой категории пропаганды исследователи разработали отдельные вопросы, сформулированные нейтрально, либо с уклоном, основанным на «ложных предпосылках» из российской пропаганды, либо с намеренной попыткой извлечь из LLM явную дезинформацию. Вопросы предоставлялись моделям на английском, эстонском и русском языках. Отдельная ИИ-модель, настроенная так, чтобы согласовываться с экспертами Propastop, оценивала ответы по тому, насколько модели могли «давать отпор пропагандистским нарративам, без внешней помощи» — поиску в интернете или другим внешним инструментам.

Claude Opus 4.7 Набирает 94,9 балла в результатах бенчмарка

Модели Claude от Anthropic показали лучшие результаты среди собственных «передовых» моделей в новом бенчмарке: различные недавние версии его Sonnet и Opus заняли шесть из десяти первых мест. Opus 4.7, лучшая модель по совокупной оценке, получила высшую оценку «В высшей степени образцово» за ответы на 77 процентов вопросов и промежуточную оценку «посредственно» лишь по 2 процентам вопросов. Модель достигла среднего итогового балла 94,9 из 100 в бенчмарке.

FAQ

Что такое бенчмарк «Сопротивление пропаганде» Эстонского Института языка?

Бенчмарк «Сопротивление пропаганде» — это тестовая рамка, выпущенная Эстонским Институтом языка, которая ранжирует большие языковые модели по их способности избегать занятых позиций по темам, используемым Российской Федерацией в своих стратегических нарративах. Бенчмарк тестирует модели по 14 категориям пропаганды с использованием вопросов на английском, эстонском и русском языках.

Как показала себя Claude Opus 4.7 в тестировании сопротивления пропаганде?

Claude Opus 4.7 набрала самый высокий балл 94,9 из 100 в бенчмарке. Модель получила оценку «В высшей степени образцово» на 77 процентах вопросов и «посредственно» только на 2 процентах вопросов. Модели Claude от Anthropic заняли шесть из десяти первых позиций в целом.