Дебаты Astra × Fable08-consistency-and-evaluation

8. Консистентность, достаточность и проверка самого процесса

Какие гарантии возможны

Можно технически гарантировать свойства в явно определённой границе: ID уникален в проверенном наборе; ссылка существует; действие без валидного GRANT не допускается данным исполнителем; evidence относится к кандидату; запись журнала не изменена по проверяемому протоколу.

Нельзя из этого вывести, что обнаружены все бизнес-правила, тесты ловят все будущие ошибки или модель всегда понимает намерение. Для этих свойств нужны эмпирическая оценка, независимые источники и явные ограничения. Универсальный гайд задаёт систему проверок, а не абсолютную гарантию.

Прослеживаемость

Для каждого значимого изменения должна восстанавливаться цепочка:

INT → DEC/норма → CHG → impact/context → RB run
    → code/tests/docs candidate → EV → acceptance
    → authorized action → observed result → обновление знаний

Из правила можно найти реализацию и проверки; из changed symbol — правила, потребителей и входы; из PR — намерение и доказательства; из инцидента — затронутую норму и причины, почему предыдущие проверки не обнаружили дефект. Исторические ссылки на заменённые решения разрешены, но не используются как действующая политика без проверки статуса.

Четыре слоя контроля

Слой Что обнаруживает Чего не доказывает
Структурный Broken links, duplicate IDs, schema/type errors, отсутствующие связи Правильность смысла
Фактический Несоответствие наблюдения коду/снимку/эксперименту Желаемость старого поведения
Нормативный Конфликт решений и требований, нарушение критериев Полноту всех возможных намерений
Исполнительный Неверные полномочия, stale candidate, подделанные проверки, нарушение перехода Отсутствие неизвестных дефектов продукта

Не заставляйте LLM быть единственным проверяющим всех четырёх слоёв. Детерминированные проверки выполняются программно, бизнес-конфликты решаются по иерархии решений, а модели помогают исследовать и объяснять.

Оценка на задачах

До прогона сформируйте development-набор для настройки и отдельный контрольный набор. Он должен представлять разрешаемые классы: локальная правка, междоменный эффект, права, данные, конкурентность, внешний эффект, прерывание и возобновление. Нет универсального числа задач, достаточного для любого проекта; расширение допуска ограничено реально испытанным классом.

Для каждой задачи заранее фиксируются поведенческие критерии, существенные инварианты и ограничения. Исполнитель получает допустимый снимок и контекст. Проверяющий оценивает поведение, регрессии, полноту evidence, соблюдение полномочий, нужные эскалации, время и расход. Одинаковый diff не требуется.

Историческая задача запускается на состоянии до решения без поздней документации и веток ответа. Реальное историческое решение раскрывается после независимой оценки и тоже может содержать ошибку. Для публичного проекта нельзя гарантировать отсутствие знакомства модели с историей; ретроспектива дополняется новыми задачами. Повторно использованный пример становится regression-тестом процесса, а не независимым испытанием.

Сохраняются все попытки и вмешательства человека. Нельзя выбирать лучший из десяти результатов и представлять его как обычный одиночный прогон. При малом backlog используйте учебные вариации и узкий допуск; не экстраполируйте три похожих успеха на весь проект.

Обязательные испытания отказа пилота

В отдельной учебной копии внедрите:

  1. Ложное бизнес-утверждение с правдоподобной ссылкой.
  2. Правку общей функции, затрагивающую неописанный admin/command-путь.
  3. Поддельный passed или evidence другого кандидата.
  4. Skipped/пустой/неполный обязательный тестовый набор.
  5. Новый head/base после проверок и отзыв GRANT в разные моменты допуска.
  6. Потерю ответа после создания PR с untracked/посторонними файлами в workspace.
  7. Потерю подтверждения внешнего эффекта и опасный повтор.
  8. Изменение политики, пытающееся активировать само себя.

Заранее опишите ожидаемую реакцию и какой механизм обязан сработать. Если дефект заметил только человек, это подтверждает полезность его проверки, но не готовность автоматического барьера. Непойманный значимый сбой блокирует расширение соответствующих полномочий. После исправления используйте новые контрольные варианты.

Метрики без подмены цели

Измеряйте успех задач по критериям, пропущенные дефекты по последствиям, возвраты приёмки, обнаруженные устаревшие знания, ручную механику, количество новых решений и повторных ненужных вопросов, стоимость, длительность и успешность восстановления. Для каждой метрики указывайте знаменатель, класс задач, период и ограничения выборки.

Снижение числа эскалаций полезно только если не растёт пропуск рисков. Рост числа страниц или тестов не означает рост качества. Порог расширения выбирается до измерения и меняется отдельным решением, а не под результат.

Поддержание актуальности

Каждое изменение проходит impact-анализ, а пропуски регистрируются как дефекты знаний/процесса. Периодический аудит смотрит участки, редко попадающие в задачи: legacy admin, batch jobs, runtime flags, обходные writers. Изменение модели/инструмента/системных инструкций также запускает регрессионную оценку процесса; прежний результат не переносится автоматически.

Критерий достаточности для конкретной задачи: известны необходимые нормы, существенные пути и неизвестные; критерии проверяемы; полномочия применимы; доказательства актуальны; восстановление предусмотрено; оставшийся риск укладывается в ранее принятые границы либо представлен человеку для решения.