Неделя 9 · Блок 3 · 3 ноября 2026
Когда мы разрешаем ИИ что-то сделать
Вопрос ответственности: шкала рисков, контракт делегирования, шесть условий реального возражения и парадокс прозрачности.
Вопрос ответственности: шкала рисков, контракт делегирования, шесть условий реального возражения и парадокс прозрачности.
Где мы · неделя 9 из 15
Восстановили сбой по следам и обнаружили, что реконструкция всегда зависит от того, кто её делает.
Если сбой восстановлен — кто за него отвечает? Шкала рисков, контракт делегирования, три ответа о подписи.
Пятнадцать баллов проекта стоит умение назвать ответственного по функции, а не сказать «нейросеть».
Что изменилось
Было
Модель выдавала текст, человек оставался последним звеном. Любое действие в мире проходило через его руки и его подпись.
Стало
Пишет код, отправляет почту, бронирует, заходит на сайты от вашего имени. Человек узнаёт о действии после того, как оно совершилось.
Ровно в этот момент вопрос «кто отвечает» перестаёт быть теоретическим
Шкала того, что мы разрешаем
Проектное правило: третий уровень требует не подтверждения кнопкой, а названного ответственного.
Читать, искать, суммировать. Ничего в мире не меняется, откатывать нечего.
Править черновик, готовить письмо, менять то, что можно вернуть в прежнее состояние.
Удалять, отправлять, переводить деньги, публиковать. Откат невозможен или стоит дороже самого действия.
Рабочий документ
Перечень действий, разрешённых явно. Всё, чего нет в списке, запрещено — а не наоборот.
Что не может ни при каких условиях. Особенно — необратимое.
Наблюдаемое условие, при котором агент обязан остановиться и позвать человека.
Что, кому и в каком виде сообщается после действия. Молчание — тоже проектное решение.
Тот же документ вы писали на неделе 6 со стороны тихого режима. Сегодня смотрим на него со стороны полномочий
Семинар · кейс-сессия
Агента представили как самостоятельного разработчика. Что было обещано и что подтвердилось при независимой проверке.
Отчётность: из демонстрации нельзя было понять, что делал агент, а что человек за кадром.
Система открывает сайты и действует от имени пользователя.
Границы: список необратимых действий не был объявлен, и агент достроил его сам.
Помощник выполнил распоряжение, отданное ребёнком.
Точка вызова: не было условия «подтверди у владельца учётной записи».
Когда возражение действительно возможно
Если хотя бы одно условие отсутствует, система выглядит добровольной, хотя человек просто адаптируется к ней.
Человек вообще понял, что произошло и что решение принято автоматически.
Есть хотя бы рабочее объяснение, а не «система учла ваши данные».
Понятно, куда обращаться, что приложить и в какой срок.
Можно изменить данные или представить контекст, которого не было.
Обращение действительно может изменить результат, а не просто фиксируется.
Время, язык, цифровой доступ и уверенность, необходимые, чтобы всё это проделать.
Различение, которое меняет масштаб
Оба уровня важны. Но в проектах студенты почти всегда видят только первый.
Индивидуальное
Исправляет отдельный случай: перепроверьте документ, уточните данные, пересмотрите балл. Порядок принятия решений при этом сохраняется полностью.
Коллективное
Ставит под вопрос сам критерий, метрику или процедуру. Требует других участников: профсоюза, регулятора, публичного обсуждения, суда.
Как распределять ответственность
Поставщик модели: за её ограничения, за то, о чём он предупредил и о чём умолчал.
Организация: за решение применить оценку к людям и связать её с конкретным действием.
Тот, кто обязан заметить ошибку и имеет право приостановить систему.
Тот, кто объясняет результат пострадавшему и компенсирует последствия.
Сотрудник может ошибиться при ручной проверке, но не отвечать за то, что процедура не оставила времени на внимательное рассмотрение
Парная работа
Представьте, что у вас есть агент, которому можно доверить часть учёбы, домашних дел или финансов. Полстраницы: что разрешаете, что запрещаете, в какой момент он обязан спросить и в каком виде отчитывается перед вами.
Требование: хотя бы один запрет должен быть про необратимое действие
Понятие недели
Разворачивается подробно на неделе 10. Сегодня достаточно ввести и связать с контрактом.
Доверять не больше и не меньше, а там, где уместно.
Это не оптимизм и не скепсис, а соответствие между тем, насколько вы полагаетесь на агента, и тем, в чём он действительно надёжен. Ошибка возможна в обе стороны: избыточное доверие даёт непроверенные решения, недостаточное — ручную работу, которой можно было избежать.
Назовите задачу, в которой вы агенту не доверяете, и задачу, в которой доверяете полностью. Если обе не находятся — калибровки нет.
Мы видим в цепочке рассуждений ошибки, которых не заметили бы в готовом ответе. Прозрачность не увеличивает доверие автоматически — она делает его точнее.
Дискуссия
Три ответа регулярно не совпадают. Разрыв между ними и есть предмет социологии ИИ.
Кто по договору и по закону несёт последствия: пользователь, оператор сервиса, компания-поставщик.
Чьими правами доступа действие выполнено и чей ключ стоит на запросе.
Кто в состоянии объяснить пострадавшему, что произошло, и кто способен это исправить.
Словарь недели 9
Самопроверка
Где проходит граница между обратимым и необратимым в вашем примере?
Почему список полномочий должен быть разрешительным, а не запретительным?
Какое из шести условий возражения чаще всего отсутствует и почему?
Чем индивидуальное возражение отличается от коллективного?
Кто отвечает, если модель поставил подрядчик, а решение приняла компания-заказчик?
Приведите случай, где юридический и человеческий ответы о подписи расходятся.
Домашняя работа
На следующей неделе доводим тему до конца: где доверие обязано быть проверяемым, где прозрачность требует закон, — и сдаём коллоквиум по всем трём блокам.