Уровень суждения: Почему ИИ не умён, пока лидеры не станут умнее

Гильермо Дельгадо Апарисио — глобальный лидер по искусственному интеллекту в Nisum.

Откройте для себя лучшие новости и события финтеха!

Подпишитесь на рассылку FinTech Weekly

Читают руководители JP Morgan, Coinbase, Blackrock, Klarna и другие

Искусственный интеллект в финтехе охватывает широкий спектр случаев использования, от обнаружения мошенничества и алгоритмической торговли до динамического кредитного скоринга и персонализированных рекомендаций по продуктам. Однако отчет Управления по финансовому поведению обнаружил, что из 75% компаний, использующих ИИ, только 34% понимают, как он работает.

Проблема заключается не только в отсутствии осведомленности. Это глубокое недоразумение мощи и масштабов аналитики данных, дисциплины, из которой возникает ИИ. Массовое внедрение генеративных инструментов ИИ привело к тому, что эта тема оказалась в центре внимания руководства. Но многие из тех, кто решает, как внедрять ИИ, не понимают его базовых принципов исчисления, статистики и сложных алгоритмов.

Возьмем закон Бёрфорда — простое статистическое правило, которое выявляет мошенничество, обнаруживая закономерности в числах. ИИ строится на том же виде математики, только масштабированной на миллионы транзакций одновременно. Убрав всю шумиху, остается основа — статистика и алгоритмы.

Именно поэтому важна грамотность в области ИИ на уровне руководства. Лидеры, которые не могут отличить границы аналитики и ИИ, рискуют чрезмерно доверять системам, которых не понимают, или недоиспользовать их из страха. А история показывает, что происходит, когда руководители неправильно интерпретируют технологии: регуляторы однажды пытались запретить международные IP-звонки, только чтобы увидеть, как технология опередила правила. Та же динамика развивается и с ИИ. Его нельзя блокировать или слепо внедрять; необходимы суждения, контекст и способность управлять им ответственно.

Лидеры финтеха должны устранить эти пробелы, чтобы использовать ИИ ответственно и эффективно. Это означает понимание, где заканчивается аналитика и начинается ИИ, развитие навыков управления этими системами и применение здравого смысла при решении, когда и как доверять их результатам.

Ограничения, слепые зоны и иллюзии ИИ

Аналитика анализирует прошлые и текущие данные, чтобы объяснить, что произошло и почему. ИИ развивается из этой базы, используя продвинутую аналитику для прогнозирования будущих событий и, все чаще, для автоматического принятия решений или действий.

Благодаря своим исключительным навыкам обработки данных, легко понять, почему руководители финтеха видят в ИИ свое волшебное решение. Но он не может решить все проблемы. Люди по-прежнему обладают врожденным преимуществом в распознавании шаблонов, особенно когда данные неполные или “грязные”. ИИ может испытывать трудности с интерпретацией контекстуальных нюансов, которые люди могут быстро понять.

Тем не менее, ошибочно считать, что несовершенные данные делают ИИ бесполезным. Аналитические модели могут работать с неполными данными. Но настоящая сложность — знать, когда применять ИИ, а когда полагаться на человеческое суждение для заполнения пробелов. Без этого тщательного контроля ИИ может ввести значительные риски.

Одной из таких проблем является предвзятость. Когда финтехи обучают ИИ на устаревших наборах данных, они часто наследуют связанный с ними багаж. Например, имя клиента может непреднамеренно служить прокси для пола, или фамилия — косвенно указывать на этническую принадлежность, что искажает кредитные рейтинги так, как ни один регулятор бы не одобрил. Эти предвзятости, легко скрытые в математике, часто требуют человеческого контроля для обнаружения и исправления.

Когда модели ИИ сталкиваются с ситуациями, на которых их не обучали, это может привести к дрейфу модели. Волатильность рынка, изменения в регулировании, эволюция поведения клиентов и макроэкономические сдвиги могут влиять на эффективность модели без человеческого мониторинга и перенастройки.

Трудности перенастройки алгоритмов резко возрастают, когда финтехи используют “черные ящики”, не позволяющие видеть взаимосвязи между переменными. В таких условиях они теряют возможность передать эти знания руководству. Кроме того, ошибки и предвзятости остаются скрытыми в непрозрачных моделях, подрывая доверие и соответствие требованиям.

Что должны знать лидеры финтеха

Опрос Deloitte показал, что 80% считают, что их советы директоров практически не имеют опыта в области ИИ. Но руководители высшего звена не могут позволить себе считать ИИ проблемой только технической команды. Ответственность за ИИ лежит на руководстве, поэтому финтех-лидерам нужно повышать квалификацию.

Межаналитическая грамотность

Перед внедрением ИИ руководители финтеха должны уметь переключаться — смотреть на цифры, бизнес-кейс, операции и этику — и видеть, как эти факторы пересекаются и формируют результаты ИИ. Они должны понять, как статистическая точность модели связана с кредитным риском. И распознавать, когда переменная, которая кажется финансово обоснованной (например, история погашения), может вводить социальные или регуляторные риски через корреляцию с защищенными классами, такими как возраст или этническая принадлежность.

Эта грамотность в области ИИ достигается через совместную работу с сотрудниками по соблюдению нормативных требований, обсуждение с менеджерами по продуктам пользовательского опыта и совместный анализ результатов моделей с учеными данных для выявления признаков дрейфа или предвзятости.

В финтехе полностью исключить риски невозможно, но с помощью межаналитической грамотности руководители могут определить, какие риски оправданы, а какие могут подорвать стоимость для акционеров. Этот навык также помогает выявлять и действовать при наличии предвзятости, не только с точки зрения соблюдения нормативных требований, но и с стратегической и этической позиций.

Например, если модель кредитного скоринга, основанная на ИИ, сильно смещена в сторону одного сегмента клиентов. Исправление этого дисбаланса — не только задача специалистов по данным; это защищает репутацию компании. Для финтехов, ориентированных на финансовую инклюзию или сталкивающихся с ESG-давлением, одного соблюдения закона недостаточно. Суждение означает знать, что правильно, а не только что разрешено.

Грамотность в области объяснимости

Объяснимость — основа доверия. Без нее руководители, клиенты и регуляторы остаются в неведении, почему модель пришла к определенному выводу.

Это означает, что руководители должны уметь отличать модели, которые интерпретируемы, от тех, которым нужны постфактум объяснения (например, SHAP-значения или LIME). Они должны задавать вопросы, когда логика модели не ясна, и распознавать, когда “точность” сама по себе не может оправдать решение “черного ящика”.

Предвзятость не появляется из ниоткуда; она возникает, когда модели обучаются и внедряются без должного контроля. Объяснимость дает руководителям возможность обнаружить эти проблемы на ранних стадиях и принять меры, прежде чем они нанесут ущерб.

ИИ — это как автопилот в самолете. Большую часть времени он работает без сбоев, но когда начинается шторм, пилот должен взять управление. В финансах тот же принцип применим. Команды должны иметь возможность остановить торговлю, скорректировать стратегию или даже отменить запуск продукта, когда условия меняются. Объяснимость работает в тандеме с готовностью к ручному управлению, что обеспечивает понимание ИИ руководством и контроль даже при масштабных операциях.

Модель вероятностного мышления

Руководители привыкли к детерминированным решениям, например, если кредитный рейтинг ниже 650, отклонить заявку. Но ИИ работает иначе, и это — важный сдвиг в мышлении.

Для руководителей вероятностное мышление требует трех навыков:

*   интерпретировать диапазоны рисков, а не бинарные "да/нет" результаты;
*   оценивать уровень доверия к прогнозу в контексте других бизнес-или регуляторных факторов;
*   знать, когда нужно отключить автоматизацию и применить человеческое суждение.

Например, вероятностная модель финтеха может пометить клиента как высокого риска, но это не обязательно означает “отказать”. Это может означать “провести дополнительное расследование” или “скорректировать условия кредита”. Без этой нюансировки автоматизация рискует стать грубым инструментом, подрывающим доверие клиентов и вызывающим регуляторные реакции.

Почему слой суждения определит победителей финтеха

Будущее финтеха не будет определяться теми, у кого самые мощные модели ИИ; скорее, теми, кто использует их с самым острым суждением. По мере того как ИИ становится товаром, выигрыши в эффективности — это уже базовые требования. Что отличает победителей, — это способность вмешиваться, когда алгоритмы сталкиваются с неопределенностью, рисками и этическими зонами серого цвета.

Слой суждения — это не абстрактная идея. Он проявляется, когда руководители решают приостановить автоматическую торговлю, задержать запуск продукта или отменить оценку риска, которая не учитывает реальный контекст. Эти моменты — не сбои ИИ; это доказательство того, что человеческий контроль — последний уровень ценности.

Стратегическая согласованность — это то, где суждение становится частью операционной модели. Хорошая стратегия ИИ не только создает технические дорожные карты; она обеспечивает регулярный пересмотр инициатив, повышение компетенций команд, наличие необходимой архитектуры данных и связывает каждое внедрение с четкой бизнес-целью. В этом смысле суждение — не эпизодическая функция, а встроенная часть операционной модели, позволяющая руководству вести лидерство, основанное на ценностях.

Финтехам нужны лидеры, умеющие балансировать между скоростью и масштабируемостью ИИ и людьми, обладающими контекстом, нюансами и долгосрочным видением. ИИ может обнаружить аномалии за секунды, но только люди могут решить, когда стоит отказаться от математики, переосмыслить предположения или рискнуть ради роста. Этот слой суждения превращает ИИ из инструмента в преимущество.

Об авторе:

Гильермо Дельгадо — глобальный лидер по ИИ в Nisum и операционный директор Deep Space Biology. С более чем 25-летним опытом в биохимии, искусственном интеллекте, космической биологии и предпринимательстве, он разрабатывает инновационные решения для благополучия человека на Земле и в космосе.

В качестве консультанта по корпоративной стратегии он участвовал в формировании видения NASA по ИИ для космической биологии и получал награды за инновации. Он имеет степень магистра наук в области искусственного интеллекта от Georgia Tech, полученную с отличием. Также он преподавал курсы по машинному обучению, большим данным и геномной науке.