Риск систем, которые не умеют говорить «Я не знаю»

Один из менее обсуждаемых аспектов современных систем, основанных на данных, — это то, как они справляются с неопределённостью. Большинство систем сегодня предназначены для обработки входных данных, их проверки и выдачи результатов в последовательной и надёжной форме. Такая структура хорошо работает в условиях, когда данные ясны, а решения можно напрямую вывести из них.

Но не все ситуации укладываются в эту модель.

Во многих реальных случаях данные существуют без полного учета контекста, необходимого для принятия обоснованного решения. Информация может быть точной, но неполной, действительной, но недостаточной. Именно в таких ситуациях неопределённость — не ошибка, а естественная часть окружающей среды.

Проблема в том, что большинство систем не созданы для того, чтобы это выражать.

Вместо того чтобы сигнализировать о неопределённости, они обычно превращают любые доступные данные в пригодный для использования результат.

Проверка обеспечивает аутентичность данных, и как только это условие выполнено, система продолжает работу. В ней отсутствует встроенный механизм для паузы и признания того, что доступной информации может быть недостаточно для поддержки осмысленного вывода.

Это создает тонкое, но важное искажение.
Со стороны всё кажется определённым. Входные данные проверены, результаты сгенерированы, решения приняты. Нет видимых признаков того, что исходные данные могут быть неполными или что существуют альтернативные интерпретации.
Со временем это может привести к форме ошибочной уверенности.

Пользователи начинают полагаться на систему не только для проверки, но и для суждения. Наличие результата интерпретируется как знак того, что у системы есть достаточно информации для его поддержки, даже если это не так.

Проблема не в том, что система ошибается.
Дело в том, что система не предназначена для выражения границ своих знаний.

В традиционных процессах принятия решений неопределённость часто занимает заметное место. Эксперты могут расходиться во мнениях, запрашивать дополнительную информацию или откладывать решения до получения большей ясности. Эти механизмы позволяют признавать и управлять неопределённостью.

В отличие от этого, системы, ориентированные на эффективность и последовательность, как правило, движутся вперед, как только выполнены минимальные условия. Они снижают трение, избегая задержек, но при этом уменьшают видимость неопределённости.

Это становится особенно важно по мере масштабирования систем и их применения в более сложных сценариях.

Диапазон ситуаций расширяется, включая случаи, когда данные неоднозначны, противоречивы или неполны. Без возможности представить неопределённость такие системы продолжают выдавать результаты, которые могут казаться одинаково надежными, даже когда исходные условия значительно различаются.
Именно в этом заключается риск.

Он не в сбое системы, а в её неспособности сообщить о границах своих знаний.
Система, которая не может сказать «Я не знаю», может всё равно функционировать правильно на техническом уровне. Но она также создает среду, в которой неопределённость скрыта, а не решена, и где решения могут приниматься с большей уверенностью, чем это действительно оправдано данными.

В долгосрочной перспективе задача — не только улучшать проверку или повышать эффективность.
Это — находить способы снова сделать неопределённость видимой.
Потому что без этого даже точные системы могут приводить к результатам, которые кажутся уверенными, в то время как на самом деле основаны на неполном понимании.