Лонгрид к неделе 7 · без формул
Шесть страниц о том, что модель делает на самом деле, почему уверенный тон ничего не говорит о достоверности и почему показанное «рассуждение» — не протокол мышления, а ещё один сгенерированный текст.
Цель — не разобраться в устройстве нейросети, а получить словарь для разбора записи. На неделе 8 вы будете читать распечатку сессии и объяснять, почему агент сделал не то. Объяснение «модель тупая» не принимается; объяснения из этого текста — принимаются.
Языковая модель решает одну задачу: по имеющемуся тексту предсказать, каким фрагментом он продолжится. Потом присоединяет предсказанный фрагмент к тексту и предсказывает следующий. И так до конца ответа.
Всё, что вы видите — объяснение, план, извинение, ссылка, — получено этим способом. Модель не «сначала думает, а потом формулирует». Формулирование и есть процесс.
Токен — кусок текста, которым модель оперирует.
Не буква и не слово, а фрагмент между ними: частое слово может быть одним токеном, редкое — разбиться на несколько. Для нас важно лишь одно следствие: модель работает с кусками текста, а не со смыслами, и длина «памяти» измеряется в этих кусках.
Отсюда первое практическое следствие, которое объясняет половину странностей. Модель может уверенно сообщить количество букв в слове и ошибиться — она видит не буквы, а куски. Может перепутать похожие названия — потому что в тексте они выглядят похоже.
Обучение обычно идёт в три захода, и разница между ними объясняет разное поведение.
Модель прогоняют по огромному объёму текста и заставляют угадывать продолжение. Так она набирает статистику языка: что за чем обычно идёт, как устроены рассуждения, какие факты часто соседствуют. Здесь нет никакой проверки на истинность — только на правдоподобие продолжения.
Дальше её учат отвечать на просьбы, а не просто продолжать текст. Показывают примеры: вот запрос — вот хороший ответ. Отсюда привычка отвечать по делу, структурировать, извиняться.
Наконец, люди сравнивают варианты ответов и отмечают, какой лучше. Модель подстраивается под эти предпочтения. Здесь она и приобретает свой тон: вежливый, уверенный, готовый помочь.
Это ключевой вывод третьего этапа и прямая связь с ловушкой эмпатии из недели 6. Модель звучит убедительно не потому, что знает, а потому что убедительность оценивали выше.
Вспомните случай, когда вы поверили ответу модели из-за формы, а не из-за содержания: длинный, структурный, со ссылками. Что заставило вас поверить и что стоило проверить?
Слово «галлюцинация» неудачное: оно намекает на болезнь и на то, что нормальное состояние — знание. Точнее сказать иначе.
Модель всегда порождает правдоподобное продолжение. Когда в её статистике есть устойчивый факт, правдоподобное совпадает с верным. Когда факта нет — редкое имя, свежее событие, точный номер, конкретная страница — правдоподобное продолжение всё равно порождается. Оно выглядит ровно так же уверенно, потому что механизм тот же.
Отсюда практическое правило: риск выдумки выше там, где требуется точность в деталях. Цитата, номер статьи, дата, автор, ссылка, статистика. Именно эти элементы и придают тексту вид достоверности — и именно они чаще всего оказываются собранными по правдоподобию.
Контекстное окно — всё, что модель держит перед глазами прямо сейчас.
Ваш текст, история беседы, системная инструкция, результаты вызванных инструментов. Того, что за пределами окна, для модели не существует. Закрыли вкладку — содержимое исчезло.
Ещё одно неочевидное обстоятельство: ваш запрос почти никогда не равен тому, что вы напечатали. Перед вашим текстом обычно стоит невидимая системная инструкция — правила поведения, ограничения, роль. Её написали разработчики продукта, и вы её не видите. Часть отказов и странных поворотов объясняется именно ею, а не «характером» модели.
Практический вывод для длинных сессий: если важное условие названо один раз в начале, его надо повторить. Это не суеверие, а следствие устройства.
Многие продукты показывают, как модель «думает»: перед ответом появляется текст с разбором задачи. Соблазнительно принять его за протокол внутренних вычислений. Это не так.
Показанное рассуждение — тоже сгенерированный текст. Он порождается тем же способом, что и ответ, и может расходиться с тем, что фактически повлияло на результат. Модель способна написать убедительный ход мысли и прийти к выводу, полученному иначе.
Отсюда осторожная формулировка, которую стоит использовать в работах: не «модель рассуждала так-то», а «модель показала такой ход рассуждения». Различение выглядит педантичным, но это ровно та дисциплина, которую проверяет норма 2 курса — отделять факт от гипотезы.
При этом польза от показанного рассуждения есть, и она практическая: в нём часто видны ошибки, которых не заметить в гладком ответе. Это и есть парадокс прозрачности недели 9 — объяснение снижает доверие, делая его точнее.
Откройте любую свою беседу с моделью в режиме рассуждения. Найдите место, где показанный ход и итоговый ответ расходятся или где в рассуждении видна ошибка, не попавшая в ответ.
Сама по себе модель только порождает текст. Агентом её делает обвязка: набор инструментов и правило, по которому текст модели превращается в действие.
| Шаг | Что происходит | Что видит пользователь |
|---|---|---|
| Запрос | Ваш текст плюс системная инструкция плюс история беседы | Только свой текст |
| Рассуждение | Порождается разбор задачи | Иногда — сокращённую версию |
| Выбор инструмента | Порождается запрос к поиску, файлу, программе | Иногда — название инструмента |
| Действие | Обвязка выполняет запрос и возвращает результат в окно | Обычно ничего |
| Ответ | Порождается итог для человека | Всё |
Третий столбец — то, ради чего вся неделя. Пользователь наблюдает последний шаг и делает выводы обо всей цепочке. Это чёрный ящик в миниатюре, и разбирать его придётся по следам.
Последний пункт объясняет, почему нельзя просто попросить модель оценить собственную уверенность и поверить числу. Оценка уверенности порождается тем же способом, что и всё остальное.
Текст намеренно упрощён и опускает всё, что требует математики. Он не объясняет, почему предсказание следующего фрагмента даёт связный текст, — на этот вопрос честного короткого ответа нет ни у кого.
Для курса важно другое: у нас теперь есть словарь, которым можно описать сбой, не приписывая модели ни глупости, ни намерений. «Опёрся на статистику вместо вызова поиска», «условие вышло за пределы окна», «системная инструкция весила больше просьбы пользователя» — это проверяемые гипотезы. «Модель не поняла» — нет.
Почему уверенный тон модели ничего не говорит о достоверности ответа?
В каких элементах текста риск выдумки выше всего и почему именно в них?
Чем «модель рассуждала» отличается от «модель показала ход рассуждения»?
Почему запрос агента почти никогда не равен тому, что вы напечатали?
Что именно делает модель агентом?
Почему нельзя просто спросить у модели, насколько она уверена?
В выданной распечатке найдите одно место с точным номером строки, где агент сделал не то, о чём его просили, и объясните одним предложением, почему так вышло. Формат: «В строке 14 пользователь просил X, а агент сделал Y — похоже, опёрся на …». Ответ «агент в целом не понял задачу» не засчитывается.
Неделя 8 — практикум «Аутопсия агента». Придите с распечаткой: без неё работать не с чем. Прочитайте также подборку типовых сбоев — она подготовит вас к третьему шагу протокола.