Неделя 8 · Блок 3 · 27 октября 2026
Практикум «Аутопсия агента»
Сегодня вы исследователи: берём запись реальной сессии со сбоем и восстанавливаем, что произошло, по следам.
Сегодня вы исследователи: берём запись реальной сессии со сбоем и восстанавливаем, что произошло, по следам.
Где мы · неделя 8 из 15
Разметили короткую запись четырьмя цветами и увидели, что разные пары размечают одно место по-разному.
Практикум: длинная запись реальной сессии со сбоем, пять шагов протокола, группы по три.
Единственное занятие курса, которое нельзя переписать дома. Метод останется с вами в любой роли.
Возьмите с собой: распечатку сессии. Без неё работать не с чем
Правило, с которого начинаем
Мы не ругаем ни агента, ни того, кто с ним работал. Мы реконструируем ход событий — так же, как исследователь восстанавливает аварию по регистратору. Оценка «глупый бот» закрывает разбор ровно там, где он должен начаться.
Формулировки вида «здесь автор ошибся» заменяем на «здесь система получила X и вернула Y»
Протокол разбора
Пятый шаг пропускают чаще всего, а он самый ценный: система обычно предупреждала.
Акторы: пользователь, агент, инструменты, файлы, ограничения доступа.
Последовательность по строкам, без пропусков и без интерпретации.
Точка сбоя с номером строки. Одна, а не «где-то в середине».
Объяснение, помеченное как предположение. Факт от гипотезы отделяем явно.
Сообщения об ошибках, отказы, предупреждения — и было ли это услышано.
Что мы учимся узнавать
В одной записи часто встречается два-три сбоя подряд, и второй бывает следствием первого.
Уверенно называет источник, число или цитату, которых нет.
Инструмент не вызывался, ответ собран по памяти.
Теряет условие, названное в начале сессии.
Условие вышло за пределы контекстного окна.
Повторяет одно и то же действие с малыми вариациями.
Не получает признака успеха и не умеет остановиться.
Продолжает свой план вопреки прямой просьбе человека.
Инструкция системы весит больше, чем реплика пользователя.
Обращается к инструменту, которого нет в его вольере.
Границы не объявлены явно — агент их достраивает.
Ход практикума · 75 минут
Норма разбора
В отчёте эти два типа утверждений должны быть различимы с первого взгляда.
Факт из записи
Проверяемо: любой читатель откроет строку 22 и увидит то же самое. Такие утверждения — фундамент разбора.
Гипотеза
Не проверяется по записи. Помечается словами «вероятно», «можно предположить» — и рядом указывается, чем её можно было бы проверить.
Главное наблюдение занятия
Одна группа находит точку сбоя в строке 12, другая — в строке 27, и обе приводят разумные основания. Это не значит, что кто-то невнимателен. Это значит, что машинную логику можно только реконструировать по следам — и реконструкция всегда зависит от того, кто её делает.
Именно это свойство и называется чёрным ящиком. Сегодня вы столкнулись с ним руками
Переход к инженерии
Три разных вопроса, которые задают к одной и той же точке сбоя.
Границы вольера, формулировку инструкции, объём окна, права доступа. Модель — в последнюю очередь.
Был ли вообще человек, до которого дошло сообщение об ошибке, и в какой срок.
Сообщили ли ему о сбое или он получил уверенный ответ, не отличимый от правильного.
Словарь недели 8
Домашняя работа · групповая
Самопроверка
Почему обвинительная рамка мешает найти настоящую причину сбоя?
Чем «выдумал факт» отличается от «запутался» в записи?
Что чинят раньше модели, когда агент вызвал несуществующий инструмент?
Как отличить в вашем отчёте факт от гипотезы, не читая пояснений?
Почему две группы нашли разные точки сбоя и обе были правы?
Кто в вашем кейсе должен был увидеть сообщение об ошибке?
На следующей неделе тот же материал повернётся другой стороной: если сбой восстановлен, кто за него отвечает?