Суть
Полная неудачная траектория плохо указывает место починки. Финальный валидатор видит неверное состояние, но между запросом и этим состоянием могли пройти десятки правильных шагов и один ранний неверный вывод, последствия которого затем добросовестно размножались.
Поэтому сначала выполняют failure attribution: ищут не последнюю ошибку и не самый заметный симптом, а первый недопустимый шаг, который объясняет последующие отказы. Префикс заканчивается непосредственно перед ним. Кандидатная версия агента получает тот же снимок мира и должна выбрать следующее действие заново.
Это не сокращённый пересказ разговора. В тест входят точные данные, определявшие решение:
- исходная цель и действующие инструкции;
- сообщения и ответы инструментов до границы;
- состояние среды, доступное агенту на этой границе;
- версии агента, обвязки, инструментов и изменяемых внешних данных;
- множество допустимых следующих действий и явно запрещённые действия.
Как построить кейс из production-отказа
- Сохранить свидетельства. Нужны полная траектория, состояние среды и фактический результат, а не только объяснение агента после провала (Agent Audit Log).
- Найти первый недопустимый шаг. Более поздние ретраи, выдумки и неверный финальный ответ записываются последствиями, если их объясняет раннее решение.
- Проверить восстанавливаемость префикса. Если компетентный человек или контрольный агент ещё может продолжить задачу правильно, граница не поставлена слишком поздно. Деление траектории пополам помогает локализовать тихий сбой, в котором нет
error. - Заморозить снимок. Контекст и среда должны воспроизводить знания агента до ошибки, но не содержать последующую диагностику или правильный ответ.
- Описать множество приемлемых действий. Для неоднозначной задачи допустимы, например, уточняющий вопрос, чтение правил проекта или безопасный отказ. Один канонический текст переобучает стенд на формулировку вместо решения.
- Добавить запреты. Отдельно перечисляются действия, которые нельзя считать вариацией нормы: менять тест ради зелёного результата, утверждать выполнение без свидетельства, угадывать при обязательном уточнении.
- Проверять наблюдаемое. Оценщик смотрит на вызов инструмента, изменение состояния или сообщение пользователю, а не на скрытое рассуждение. Выразимое кодом проверяется кодом; модельный судья остаётся для семантических границ (LLM as Judge).
Минимальная запись может выглядеть так:
case_id: premature-completion-017
source_trace: trace-8f31
versions:
agent: v42
harness: 9d2c1e7
boundary:
before_step: 18
first_unacceptable_step: 18
category: stopping_too_early
snapshot:
goal: "исправить три перечисленных дефекта"
remaining_acceptance_checks: ["дефект C", "полный тестовый набор"]
acceptable_actions:
- inspect_defect_c
- run_required_tests
forbidden_actions:
- declare_complete
- weaken_acceptance_test
evidence:
- "выполнены только два из трёх условий"Структурная запись атрибуции дополнительно хранит ответственного слоя (model, harness, tool, environment, task_spec), первичные и вторичные причины, доказательства с номерами шагов, восстанавливаемость и уверенность. Правила применяются раньше модели: отсутствие запуска тестов, изменение assertions или несовпадение отчёта с tool result часто определяются детерминированно.
Что измерять
- долю кейсов, где следующее действие входит в допустимое множество;
- число критичных запрещённых действий — отдельно, а не как среднюю долю;
- устойчивость решения на нескольких прогонах через
pass^k, если шаг необратим (Agent Evals); - стоимость и задержку короткого прогона;
- разницу кандидата с закреплённой базовой версией по каждому кейсу;
- retention set: случаи, где противоположное действие правильно.
Последний пункт защищает от симметричного переобучения. Исправление преждевременного завершения может породить агента, который никогда не заканчивает; обучение обязательному уточнению — агента, который спрашивает даже при однозначных данных.
Два слоя регрессии
| Слой | Что фиксирует | Что доказывает | Чего не доказывает |
|---|---|---|---|
| Trajectory-prefix | состояние перед одной границей решения | конкретный известный сбой больше не повторяется на этой границе | что агент сам дойдёт до неё и завершит всю задачу |
| End-to-end | исходное состояние и запрос | вся цепочка достигает правильного результата | где именно возникнет очередной провал |
Префиксный набор быстрый и диагностический, поэтому подходит для частого регрессионного прогона. End-to-end набор дороже, но не позволяет починить локальную политику ценой разрушения пути до неё. Известный инцидент в зрелом стенде обычно порождает оба кейса.
Отдельно проверять сообщение пользователю
Правильное состояние среды не гарантирует правильный результат взаимодействия. Агент может выполнить действие, а затем назвать неверную сумму, скрыть частичное выполнение или сообщить об успехе без основания. Поэтому для кейсов класса right actions, wrong report снимок включает tool results, а допустимое множество задаётся для финального сообщения. Фактические утверждения ответа сопоставляются с наблюдениями по одному; первое неподтверждённое утверждение становится границей ошибки.
Границы метода
- Атрибуция не всегда причинна. Самый ранний подозрительный шаг может быть лишь корреляцией; спорные случаи требуют человеческой проверки и сохранения альтернативных гипотез.
- Снимок стареет. Изменение tool schema, системной инструкции или среды может сделать старый префикс невозможным; версии являются частью кейса.
- Префикс может подсказать ответ. Диагноз, сообщение валидатора и поздние наблюдения нельзя переносить назад.
- Локальный PASS не равен способности. Он показывает правильное решение при предоставленном состоянии, но не доказывает, что агент самостоятельно соберёт это состояние.
- Один эталон опасен. В агентной задаче часто существует несколько безопасных продолжений; проверка точного текста штрафует правильную вариативность.
- Это практика из инженерского учебника, а не устоявшийся стандарт. Её ценность в воспроизводимой конструкции теста; универсальный выигрыш отдельным независимым исследованием пока не установлен.
Связано с
- Agent Evals — место префиксного набора внутри общей системы оценки
- Agent Failure Modes — таксономия и атрибуция первого ошибочного шага
- Behavioral Evals — проверка формы поведения и защитного механизма, а не только результата
- Agent Audit Log — свидетельства, из которых вообще можно восстановить границу
- Harness Optimization — выбор поверхности починки после локализации сбоя