Урок 3

Что такое калибровка, и в каких случаях можно утверждать, что рынок «оказался прав»?

В этом уроке рассматривается оценка прогнозов: вводятся понятия калибровки, точности и оценки Брайера, объясняется, как с помощью вероятностного языка измерять качество рынка, а также проводится различие между «угадыванием правильного ответа задним числом» и «обоснованностью вероятностных оценок».

Прежде чем перейти к уровням вероятности, необходимо четко определить сами события и правила их разрешения. Как только правила становятся ясными, возникает следующий логичный вопрос: насколько рыночным ценам можно доверять? Многие отвечают интуитивно: «В прошлый раз все сошлось — значит, это точный инструмент» или «В прошлый раз ошиблись — значит, рынки прогнозов не работают». Оба суждения слишком упрощены. Рынки прогнозов выдают не бинарный вердикт «сбудется / не сбудется», а набор вероятностных оценок; судить о том, «сошлось ли», тоже нужно на вероятностном языке.

На практике рынок может часто угадывать исход, но при этом быть сильно искаженным с точки зрения вероятности. И наоборот, он может часто ошибаться в направлении, но при этом честно отражать неопределенность. Оценка только по факту выигрыша или проигрыша упускает самый ценный (и одновременно самый непонятый) аспект рынков прогнозов: калибровку.

Чтобы оценить качество рынка, нужно спросить: что такое калибровка и когда мы можем сказать, что рынок действительно «все предсказал верно»?

1. Точность против калибровки: два разных вида «правоты»

  • Точность отвечает на вопрос: совпало ли итоговое решение с исходом?

  • Калибровка отвечает на вопрос: когда рынок оценивает вероятность в 70%, действительно ли примерно 70% таких событий происходят?

Простой пример проясняет разницу. Предположим, есть 100 повторений одного и того же события, и рынок всегда ставит вероятность 90%. Если 90 раз событие происходит, а 10 — нет, то оценка в 90% разумна с точки зрения калибровки. Если же рынок всегда ставит 51% для всех 100 событий, и ровно 51 происходит, а 49 нет, точность все еще «выглядит хорошо», но рынок практически не дает информативного вероятностного различения — он просто постоянно слегка склоняется в одну сторону.

И наоборот, честная оценка в 60%, которая в итоге не сбывается, не означает, что «рынок солгал»; 60% по определению подразумевают 40%-ную вероятность того, что событие не произойдет. Приравнивать «не сбылось» напрямую к «рынок ошибся» — значит оценивать вероятностный инструмент с позиций детерминизма.

Для читателей вероятностное мышление из Урока 1 требует уточнения: чтение рынков прогнозов — это не просто «какая сторона предпочтительнее», но и вопрос о том, насколько честно этот перекос отражает историческую частоту.

2. Калибровочная кривая: когда рынок говорит X%, как часто это происходит на самом деле?

Один из распространенных способов оценить калибровку — построить калибровочную кривую: сгруппировать исторические прогнозы по вероятностным интервалам (например, 50–60%, 60–70%, 70–80%), а затем подсчитать фактическую частоту наступления в каждом интервале. В идеале кривая должна приближаться к диагонали: события, оцененные в 70%, должны происходить примерно в 70% случаев в долгосрочной перспективе.

Чаще всего встречаются три отклонения:

  • Чрезмерная уверенность: рынок оценивает 80%, но фактическая реализация значительно ниже 80%. Это характерно для «горячих» тем и однобоких нарративов.

  • Чрезмерная осторожность: рынок оценивает 55%, но фактическая реализация превышает 55%. Такое бывает, когда информация распространяется медленно или участники проявляют излишнюю сдержанность.

  • Недостаток выборки: слишком мало исторических случаев в данном вероятностном интервале, что делает статистику неустойчивой. Это часто встречается у редких событий и рынков по новым темам.

Таким образом, калибровка — это не разовая оценка «верно/неверно», а долгосрочное свойство, требующее достаточного количества наблюдений и разбивки по интервалам. Цель этого урока — не дать точный коэффициент калибровки для какой-либо платформы (для этого нужны профессиональные данные и методология), а лишь предложить систему оценки: не судите о калибровке по одному-двум «горячим» рынкам.

3. Оценка Брайера: количественная оценка «близости к реальности»

Оценка Брайера — распространенная метрика для оценки качества вероятностных прогнозов. Для бинарных событий вычисляется ошибка каждого прогноза относительно исхода; чем ниже значение, тем ближе оценки вероятности к реальности (идеальный прогноз дает 0, полностью неверный — 1; точная формула зависит от постановки задачи).

Ценность оценки Брайера в том, что она наказывает за «ошибки из-за чрезмерной уверенности». Оценка 99% с последующим провалом получает более суровое наказание, чем оценка 60% с провалом — это соответствует вероятностной логике: первая претендует на гораздо большую определенность, поэтому ошибка обходится дороже.

Обычным пользователям не нужно рассчитывать оценку Брайера вручную, но важно понимать ее смысл:

  • Если два рынка имеют схожую точность, тот, у которого ниже оценка Брайера, обычно честнее выражает вероятность;

  • Если рынок часто смещает вероятности к крайностям (0 или 1), он может казаться «решительным» в краткосрочной перспективе, но долгосрочная калибровка у него, как правило, хуже;

  • Чтобы оценить качество рынка, учитывайте и то, «был ли он прав», и то, «были ли вероятности разумными».

4. Временное измерение: за неделю и за час до события — это разные прогнозы

Для одного и того же события котировки в разное время несут разную информацию. Оценка 40% за неделю до игры может отражать состав, травмы, расписание — среднесрочные факторы; оценка 65% за час до игры может учитывать стартовый состав, погоду, новости в реальном времени. Обе являются «вероятностями», но отвечают на разные вопросы: ранние котировки — это оценки, поздние приближаются к итоговому консенсусу.

Читая рынки прогнозов, обращайте внимание на временную метку. Обсуждение «рынок всегда был бычьим» без учета времени может исказить оценку информационной эффективности. То же касается крупных макроэкономических событий: контракт, связанный с ФРС, за неделю до данных NFP и за минуту до публикации — управляется разными факторами волатильности, и их нельзя взаимозаменять.

Вероятности, отображаемые в интерфейсах Gate Prediction Market, — это моментальные снимки. Если вы используете передовые возможности Gate for AI Agent для получения макроэкономического фона (например, цена BTC, индекс доллара, ожидания по ставкам), четко понимайте: их цель — объяснить «почему вероятности изменились», а не подменять движение цен на активы напрямую для цен контрактов «Да». Рост BTC не означает автоматически, что шансы на одобрение криптособытия должны вырасти — эти факторы могут быть связаны, но их необходимо определять и проверять отдельно.

5. Тематические различия: политика, спорт и криптовалюты демонстрируют разную калибровку

Рынки разных тем сильно различаются по структуре участников, источникам информации и ликвидности; обобщать калибровку нельзя.

  • Политические и электоральные рынки: насыщены информацией и широко освещаются СМИ, но поляризованные нарративы могут вызывать периоды чрезмерной уверенности; послевыборные обсуждения часто критикуют «предвыборные 90%, расходящиеся с исходом» — это проблема калибровки.

  • Спортивные рынки: правила понятнее, есть длинная история данных, некоторые основные события калибруются хорошо; однако внезапные травмы или спорные судейские решения все равно вызывают краткосрочные искажения.

  • Криптовалютные и отраслевые рынки событий: пороги FDV, процесс одобрения, запуски партнерств — сильно зависят от текстовых определений (см. Урок 2); здесь часто доминируют спекулятивные участники, ориентированные на нарративы, тонкие рынки и скачкообразные котировки — обычное явление, а волатильность калибровки, как правило, выше.

Поэтому общие заявления вроде «рынки прогнозов точны» или «рынки прогнозов неточны» бессмысленны. Вместо этого спросите: для каких типов событий, в какие периоды, при каких условиях ликвидности достигается калибровка?

6. Границы для ИИ и агентов: могут систематизировать историю, но не делать выводов

Gate for AI Agent или общие инструменты ИИ могут взять на себя исследовательские задачи из этого урока: систематизировать исторические базовые ставки для определенных событий, собирать прошлые рыночные котировки и результаты расчетов, помогать с групповой статистикой или построением калибровочных кривых. Это ускоряет организацию и помогает формулировать гипотезы для проверки.

Задачи, которые они не могут взять на себя, включают: утверждение «этот рынок всегда был точен» без чтения оригинальных правил; обобщение нескольких случаев до общих закономерностей; или прямой вывод «следует купить Да». Любые сгенерированные ИИ цифры должны ссылаться на исходные данные; если размер выборки недостаточен, следует четко указать «недостаточно для оценки калибровки», а не выдавать ложную точность. Агенты останавливаются на исследовании; доверять ли вероятностям рынка — должны решать люди на основе правил, ликвидности и независимых источников.

7. Итог урока

Ключевой вопрос этого урока: что такое калибровка и когда можно сказать, что рынок «все предсказал верно»? Ответ: на рынках прогнозов «быть правым» делится на два уровня — произошел ли результат и были ли оценки вероятности разумными. Точность учитывает только первое; калибровка смотрит на долгосрочную согласованность оценок. Индикаторы, такие как оценка Брайера, напоминают: оценить 90% и ошибиться — более серьезное вероятностное искажение, чем оценить 60% и ошибиться.

Мы также видим, что время, тема и ликвидность существенно влияют на калибровку; нельзя по выигрышам и проигрышам на одном «горячем» рынке делать выводы обо всех рынках прогнозов. Gate Prediction Market предоставляет моментальные снимки текущего консенсуса; макроэкономические данные от Gate for AI Agent дают фоновое сравнение, но не заменяют самостоятельный анализ вероятностей контрактов событий.

Следующий урок будет посвящен еще одному измерению, определяющему доверие: даже если долгосрочная калибровка хороша, отдельные котировки могут быть искажены из-за ликвидности, спредов и манипуляций. Ликвидность и информационная эффективность — важнейшие факторы при чтении рынков прогнозов.

Отказ от ответственности
* Криптоинвестирование сопряжено со значительными рисками. Будьте осторожны. Курс не является инвестиционным советом.
* Курс создан автором, который присоединился к Gate Learn. Мнение автора может не совпадать с мнением Gate Learn.