Лонгрид к неделе 9
Шесть страниц о том, почему юридический, технический и человеческий ответы на вопрос «чья подпись» регулярно не совпадают — и почему разрыв между ними и есть предмет социологии ИИ.
Это не юридическая консультация. Автор — социолог, а не юрист, и текст разбирает устройство вопроса, а не даёт правовых выводов. Всё, что касается конкретных норм и последствий, помечено отдельно и требует проверки у специалиста. Такая разметка — не перестраховка, а демонстрация нормы 2 курса на живом материале: отделяем установленное от предполагаемого.
Пока модель отвечала текстом, последним звеном оставался человек. Он читал, оценивал и действовал сам — его рука, его подпись, его ответственность. Вопрос «кто отвечает» имел скучный ответ: тот, кто нажал.
Как только агент начал действовать — отправлять письма, менять записи, бронировать, переводить, публиковать, — звено выпало. Человек узнаёт о действии после того, как оно совершилось, а иногда не узнаёт вовсе.
Обратимость измеряется не технически, а по последствиям.
Письмо можно удалить из папки «отправленные», но нельзя удалить из головы получателя. Запись в базе можно откатить, но нельзя откатить решение, которое кто-то на её основании уже принял.
Когда агент действует от имени человека, ответов оказывается три, и они регулярно расходятся.
| Ответ | Что спрашивает | Чем определяется |
|---|---|---|
| Юридический | Кто по договору и по закону несёт последствия | Пользовательское соглашение, договор с поставщиком, применимое право |
| Технический | Чьими правами доступа выполнено действие | Ключ, учётная запись, журнал обращений |
| Человеческий | Кто способен объяснить пострадавшему и исправить | Регламент, полномочия сотрудника, наличие процедуры |
Разберите на примере. Агент отправил письмо с корпоративной почты сотрудника. Юридически последствия несёт компания — почта её. Технически действие выполнено ключом сотрудника, и в журнале стоит его имя. По-человечески объяснять получателю не готов никто: сотрудник не писал, компания не в курсе, поставщик агента вообще не сторона переписки.
Возьмите ситуацию, где автоматическое решение задело вас лично. Кто был ответственным по каждому из трёх ответов и совпали ли они?
Наиболее ясный публичный сюжет — спор пассажира с авиакомпанией Air Canada.
Фабула. Чат-бот на сайте компании сообщил пассажиру условия льготного тарифа, отличавшиеся от действующих правил. Пассажир поступил по совету бота и получил отказ. Спор дошёл до канадского трибунала по гражданским спорам; решение вынесено в 2024 году в пользу пассажира.
Чем оно интересно. Не суммой — она невелика. Интересен аргумент компании: она заявила, что бот является самостоятельным субъектом, отвечающим за свои высказывания. Трибунал довод отклонил, указав, что бот — часть сайта компании, а компания отвечает за информацию на своём сайте независимо от того, каким способом она порождена.
Что из этого следует для нас. Аргумент «это сказал бот, а не мы» был высказан всерьёз крупной компанией. Значит, соблазн вынести агента за скобки ответственности — реальная организационная стратегия, а не выдумка социологов. Именно её описывает формула «так решила нейросеть»: она размывает автора решения.
Установлено: спор существовал, решение вынесено в пользу пассажира, аргумент о самостоятельности бота был заявлен и отклонён. Требует проверки перед цитированием: точные формулировки решения, размер компенсации, процессуальные детали. Пересказы в популярных источниках расходятся. Если опираетесь на дело в письменной работе — найдите первоисточник.
Фраза «все понемногу виноваты» — способ закрыть вопрос, не отвечая на него. Рабочий подход другой: не искать виновного, а развести функции.
Поставщик модели или системы. Отвечает за её ограничения, за то, о чём предупредил, и за то, о чём умолчал. Не отвечает за решение применить её к людям.
Организация-заказчик. Отвечает за решение связать результат системы с конкретным действием в отношении человека. Это ключевая функция: одна и та же модель с одинаковой точностью даёт разные последствия в зависимости от того, что организация делает после срабатывания.
Тот, кто обязан заметить ошибку и имеет право приостановить систему. Обратите внимание на связку: обязанность без полномочия приостановить — это не контроль, а формальность.
Тот, кто объясняет результат пострадавшему и компенсирует последствия. Самая часто пустующая функция. Систему внедрили, контролируют, а объяснять человеку — не назначено никому.
Отсюда важное следствие для оценки: сотрудник может ошибиться при ручной проверке и при этом не отвечать за то, что процедура не оставила ему времени на внимательное рассмотрение. Вопрос «кто виноват» подменяется вопросом «кто сделал результат обязательным».
Наличие кнопки «обжаловать» ничего не доказывает. Чтобы возражение было реальным, а не декоративным, нужны шесть условий разом.
| Условие | Что проверить |
|---|---|
| Видимость решения | Человек вообще понял, что произошло и что решение принято автоматически |
| Понятность причины | Есть рабочее объяснение, а не «система учла ваши данные» |
| Доступная процедура | Понятно, куда обращаться, что приложить и в какой срок |
| Возможность исправить | Можно изменить данные или представить контекст, которого не было |
| Ожидаемый эффект | Обращение действительно может изменить результат, а не просто фиксируется |
| Ресурсы | Время, язык, цифровой доступ и уверенность, чтобы всё это проделать |
Последнее условие игнорируют чаще всего. Процедура, требующая двух часов и юридического языка, формально доступна каждому и фактически — меньшинству. Если хотя бы одно условие отсутствует, система выглядит добровольной, хотя человек просто адаптируется к ней.
Проверьте по этим шести условиям сервис, о котором вы писали на неделе 1. Какого условия там нет?
Индивидуальное. «Мой результат ошибочен». Исправляет отдельный случай: перепроверьте документ, уточните данные, пересмотрите балл. Порядок принятия решений при этом сохраняется полностью.
Коллективное. «Почему именно эта категория определяет доступ?» Ставит под вопрос сам критерий, метрику или процедуру. Требует других участников: профсоюза, регулятора, публичного обсуждения, суда.
В студенческих проектах почти всегда виден только первый уровень. Между тем именно второй объясняет, почему одни системы приживаются, а другие — нет: индивидуальные жалобы организация переваривает, коллективное возражение меняет правила.
Здесь текст заканчивает свою компетенцию и переходит в список вопросов. Если ваш итоговый проект касается решений о людях, эти вопросы стоит задать до защиты.
Обязана ли организация в вашем сценарии сообщать человеку, что решение принято автоматически?
Требуется ли мотивировка отказа — и годится ли ссылка на систему в качестве мотивировки?
Кто по договору с поставщиком несёт последствия ошибки модели и есть ли там ограничение ответственности?
Какие данные вы вправе обрабатывать для этого решения и на каком основании?
Какой срок установлен на ответ по обращению человека и что считается ответом по существу?
Есть ли категории решений, которые в вашей отрасли не могут приниматься без человека?
Ответы различаются по юрисдикциям и меняются. Текст сознательно не даёт их: устаревшее правовое утверждение в учебном материале хуже отсутствующего.
Последний сюжет недели связывает ответственность с доверием.
Калиброванное доверие — доверять не больше и не меньше, а там, где уместно.
Соответствие между тем, насколько вы полагаетесь на агента, и тем, в чём он действительно надёжен. Ошибиться можно в обе стороны: избыточное доверие даёт непроверенные решения, недостаточное — ручную работу, которой можно было избежать.
И контринтуитивное наблюдение, которое стоит помнить дизайнерам: когда агент показывает ход рассуждения, доверие к нему часто падает. Мы видим ошибки, которых не заметили бы в гладком ответе.
Это не аргумент против прозрачности. Это уточнение того, какую задачу она решает: прозрачность не успокаивает, она делает оценку точнее. А значит, решение о том, что показывать, принимается по цене ошибки, а не по желанию выглядеть открытыми.
Почему обратимость измеряется по последствиям, а не технически?
Приведите случай, где юридический и человеческий ответы о подписи расходятся.
Чем «за внедрение» отличается от «за создание» и почему это различение практическое?
Какое из шести условий возражения отсутствует чаще всего и почему?
Почему обязанность контролировать без полномочия остановить — это формальность?
Как объяснить парадокс прозрачности продуктовой команде, которая хочет «показать всё»?
Опишите контракт делегирования для воображаемого ассистента в вашей жизни — учёба, финансы, быт. Все четыре строки: полномочия, границы, точка вызова человека, отчётность. Требования: список полномочий разрешительный (всё, чего нет в списке, запрещено), хотя бы один запрет касается необратимого действия, а точка вызова сформулирована проверяемо — «когда не уверен» не годится.
Отдельно: загрузите личную карту понятий Блоков 1–3 до коллоквиума недели 10.