Методичка преподавателя к неделе 3
Почему план — это ресурс, а не программа; почему копировальный аппарат в лаборатории Xerox не понимал людей; и почему ИИ ломается ровно там, где человек подстроился бы, не заметив.
Это не пересказ книги, а рабочая выжимка под задачи курса. Главное, что нужно вынести, — одно различение: между тем, что должно было произойти по плану, и тем, что произошло на самом деле. На семинаре мы будем искать место разрыва в конкретной записи разговора с моделью, и вам понадобится словарь для его описания.
В начале 1980-х Люси Сачман работала в исследовательском центре Xerox PARC — там же, где придумали графический интерфейс и мышь. Задача у неё была прикладная: инженеры сделали копировальный аппарат с «умной» справочной системой, которая должна была вести пользователя по шагам. Система не работала. Люди застревали, злились и звали коллег.
Сачман поставила видеокамеру и стала снимать, как люди пользуются машиной. То, что она увидела, было интереснее, чем список дефектов интерфейса.
Машина была устроена так: она предполагала, что у пользователя есть план, и её дело — подсказать следующий шаг этого плана. Пользователь был устроен иначе: он смотрел на экран, пробовал, видел результат, менял намерение и делал следующий шаг исходя из того, что получилось. Плана в машинном смысле у него не было вовсе.
Дальше начиналось самое интересное. Машина наблюдала за пользователем через очень узкую щель: она видела только нажатия кнопок и состояние лотков. Всё остальное — растерянность, попытка заглянуть внутрь, разговор с коллегой, взгляд на бумагу — для неё не существовало. По нескольким нажатиям она достраивала гипотезу о намерении и уверенно вела человека дальше по плану, который тот уже бросил.
План — ресурс для действия, а не его причина.
Люди не исполняют планы по шагам. Они держат план в голове как ориентир, а решения принимают по обстановке — и постфактум описывают сделанное как «по плану», хотя ход был другим.
Сачман приводит пример, который стоит запомнить целиком. Человек собирается пройти пороги на каноэ. До входа в воду он строит план: держаться левого берега, обойти камень, зайти в струю. План разумный и полезный. Но в тот момент, когда лодка входит в порог, план перестаёт быть инструкцией. Дальше вы действуете по тому, что видите и чувствуете прямо сейчас: вот эта волна, вот этот камень, вот сюда весло. А выйдя из порога, вы расскажете, что «прошли по плану».
План — это то, что помогает подготовиться и потом объяснить. Само действие строится ситуацией.
Вспомните, как вы готовились к последнему экзамену или сдавали рабочую задачу. Насколько ваш реальный ход совпал с планом? Что именно заставило отклониться — и заметили ли вы отклонение в тот момент или только потом?
Из наблюдений Сачман следует вывод, который часто пересказывают неправильно. Неправильный пересказ звучит так: «машина глупая, человек умный». Это не её тезис.
Её тезис об асимметрии ресурсов. Два человека в разговоре имеют примерно равный доступ к ситуации: оба видят собеседника, слышат интонацию, замечают паузу и могут спросить «ты о чём вообще?». Человек и машина такого равенства не имеют. Машина получает узкий поток сигналов и не располагает средствами заметить, что поняла не то.
Поэтому сбой возникает не там, где машина «не знает ответа». Он возникает там, где она уверенно продолжает действовать по неверно достроенной гипотезе — и у неё нет способа обнаружить, что гипотеза неверна.
Ремонт — действия, которыми участники разговора чинят возникшее непонимание.
В человеческом разговоре ремонт происходит постоянно и почти незаметно: переспросили, уточнили, повторили другими словами, засмеялись, сменили тему. Это не сбой общения, а его несущая конструкция.
Практический вывод для проектирования: качество взаимодействия определяется не тем, как часто система угадывает, а тем, что происходит, когда она не угадала. Есть ли у человека способ сказать «нет, я не об этом»? Услышит ли это система? Сможет ли она отменить уже сделанное?
Проверьте на знакомом опыте. Голосовой помощник, который неправильно распознал команду, обычно не даёт починить непонимание: приходится начинать реплику с нуля. Чат поддержки, который завёл вас в ветку сценария, редко умеет вернуться назад. Отсюда и знаменитое «позовите оператора» — это попытка ремонта, для которой в системе не предусмотрено места.
Вспомните случай, когда вы пытались объяснить машине, что она поняла не то. Какими средствами вы располагали — и сработало ли хоть одно?
Современная языковая модель отличается от копира восьмидесятых во всём, кроме одного: она по-прежнему видит только то, что попало в её окно, и по-прежнему достраивает гипотезу о вашем намерении.
| Ситуация | Что делает человек | Что делает агент |
|---|---|---|
| Собеседник пошутил | Слышит интонацию и контекст, отвечает в тон | Достраивает буквальное намерение и отвечает всерьёз |
| «А можно как-то побыстрее» | Понимает, что это вежливый отказ, и меняет предложение | Считывает как запрос ускорения и предлагает тот же путь короче |
| Условие названо в начале длинного разговора | Держит его в голове и возвращается | Условие вышло за пределы окна и перестало существовать |
| Задача сформулирована двусмысленно | Переспрашивает, потому что цена ошибки высока | Выбирает одно прочтение и уверенно продолжает |
Обратите внимание на последнюю строку. Человек переспрашивает не потому, что умнее, а потому, что умеет оценить цену ошибки в этой ситуации. Оценка цены — тоже ситуативное знание, и его в окне модели нет.
Два понятия первого блока работают в паре, и связка между ними — то, ради чего мы читаем оба текста.
Чёрный ящик прячет сложность. Пока всё работает, вы не думаете о том, из чего собрано решение. И это нормальное состояние: невозможно жить, разбирая каждую систему.
Ситуативное действие открывает её обратно. В момент, когда что-то пошло не так, ход событий приходится восстанавливать — и тут выясняется, кто что видел, кто чего не мог заметить и где именно разошлись план и ситуация.
Отсюда рабочее правило курса: сбой — это исследовательский инструмент, а не только неприятность. Он делает видимым то, что в рабочем режиме невидимо. На неделе 8 мы построим на этом целый практикум.
Сачман не была противником техники — она тридцать лет проработала в исследовательском центре технологической компании. Её выводы прикладные.
Чем увереннее система достраивает намерение, тем дороже обходится ошибка достройки. Иногда честное «уточните» лучше уверенного действия.
Что человек может сделать, когда система поняла не то? Если ответ «начать заново» — ремонта нет.
Всё, что система не видит, для неё не существует. Решение о том, что попадает в окно, — это решение о том, какие ситуации она в принципе способна различить. И это решение принимают люди.
К этому мы вернёмся на неделе 12: у Сачман есть отдельная линия о том, как технологии выписывают своего пользователя — предполагают человека с определённым языком, временем и терпением.
Возьмите любой ИИ-сервис и ответьте на три вопроса: что он видит из вашей ситуации, чего он не видит, и что вы можете сделать, когда он понял не то?
Ситуативное действие хорошо объясняет, почему сбой произошёл, и плохо отвечает на вопрос, кто за него отвечает. Оно описывает механику непонимания, а не распределение полномочий.
Второе ограничение: за сорок лет изменилось многое. Модель, которая переспрашивает и держит длинный контекст, ведёт себя иначе, чем копир 1984 года. Но базовая асимметрия никуда не делась — изменилась только ширина щели, через которую система смотрит на вашу ситуацию.
Поэтому на курсе мы используем Сачман для одной конкретной операции: развести план и ситуацию в конкретной записи и назвать точку, где они разошлись. Дальше подключаются другие инструменты.
Почему тезис Сачман не сводится к «машина глупее человека»?
Что означает «план — ресурс, а не программа», на примере из вашей жизни?
Чем ремонт непонимания отличается от исправления ошибки?
Что видит и чего не видит из вашей ситуации сервис, которым вы пользуетесь чаще всего?
Почему сбой называют исследовательским инструментом?
Где проходит граница применимости этой оптики?
«Анатомия одного чёрного ящика моей жизни». Выберите одну привычную вещь: бесконтактную оплату, рекомендации в музыке, распознавание лица при входе в услугу, мобильный банк. Опишите, что в ней закрыто, какого типа эта непрозрачность — техническая, организационная или институциональная, — и в какой ситуации её стоило бы вскрыть. Обратите внимание на срок: он единственный на блоке приходится на четверг, а не на воскресенье.
На семинаре недели 3 смотрим вживую два запроса к модели — простой и тот, где она застревает, — и в парах восстанавливаем план и ситуацию по коротким кейсам. В конце занятия закрываем Блок 1: возвращаемся к стикерам первой недели и переписываем их новым словарём.