Механизмы развиваются быстро, но отсутствует одна важная функция!

Роботы становятся меньше, быстрее и более автономными.
Но по-настоящему отстающей является способность к ответственности! Когда системы начинают самостоятельно смотреть, судить и выполнять, проблема уже не в том, могут ли они это делать, а в том, что:

Почему в этот момент они сделали именно этот动作？
Какая модель и правила использовались？
Были ли они взломаны, понижены в уровне или вызваны с превышением полномочий？
Если что-то случится, можно ли восстановить события на основе доказуемых фактов, а не на основе множества изменяемых журналов и устных объяснений？

Отсутствие проверяемой автономности кажется прогрессом, но на самом деле оно превращает риск в часть реального мира. Особенно в публичных пространствах, таких как медицина, фабрики, транспорт — автономные системы с «черным ящиком» — это не инструмент повышения эффективности, а системный риск.

Настоящие масштабируемые автономные системы должны рассматривать цепочку ответственности как инфраструктуру; решения должны быть проверяемыми, действия — аудитируемыми, границы — исполняемыми. Иначе чем более автономной становится система, тем выше становится риск!