Дебаты Astra × Fable06-testing

6. Система тестирования

Исходная линия

Первый прогон должен ответить: какие тесты существуют, какие обнаружены runner, что реально запускается, что падает, пропускается и зависит от среды. Сохраните версии, команды, конфигурацию, данные, длительность, число тестов и результаты. Команда с exit code 0 и нулём обнаруженных тестов не означает защищённость проекта.

Различайте неисправную среду, стабильный дефект, нестабильный тест и недостаток самой проверки. Все исходные падения не переводятся автоматически в карантин. Для исключения нужны идентичность сбоя, область, причина, владелец, срок, потерянная защита и решение по политике риска.

На новом кандидате сравнивается не просто число падений. Проверяются те же сбои и условия на baseline; новое или изменившееся падение не списывается на наследие без анализа.

Оракул: откуда берётся ожидаемый результат

Тест, написанный моделью по её же реализации, может закрепить ту же ошибку. Ожидание выводится из нормы, решения, независимого примера, внешнего контракта либо явно временной характеризации существующего поведения. В EV фиксируется, что именно проверено; в норме — почему это правильно.

Характеризующий тест полезен до изменения наследия, но не делает старый дефект желаемым поведением. Для изменения правила нужны примеры до/после, основание смены совместимости и оценка соседних потребителей. Ясное новое намерение не требует второго идентичного approval.

Матрица проверок

Изменение/риск Нужные проверки
Чистое вычисление Границы, свойства, единицы/округление, исключения
Бизнес-переход Decision table, инварианты, запрещённые переходы, повтор
Права/tenant Роль × операция × объект × tenant, list/create/detail, обходные entrypoints
ORM/транзакции Реальная существенная SQL-семантика, constraints, rollback/commit, конкурентность
API Вход/выход, ошибки, права, совместимость клиентов, контракты
Фоновая задача Повтор, падение worker, timeout, потеря/задержка ответа, deduplication
Интеграция Contract/sandbox, недоступность, изменённый ответ, idempotency
Схема/данные Граф и состояния миграций, инварианты, совместимость, блокировки, восстановление
Производительность Baseline и измерение на репрезентативной нагрузке без регрессии семантики
Процесс разработки Некорректный grant, stale evidence, поддельный passed, resume и отзыв

Это выбор по риску, а не обязанность запускать все возможные виды тестов при каждой правке. Обоснование отбора сохраняется. Если граф влияния неполон или меняется общий компонент, набор расширяется.

Слои и скорость

Быстрые проверки помогают локальной итерации. На checkpoint выполняются обязательные проверки класса задачи. При приёмке запускается согласованный набор на реальном кандидате объединения; для опасных/широких изменений он может включать полный regression suite.

Не нужно повторять долгий полный прогон после каждого механического сохранения файла. Повтор оправдан новыми входами, изменениями, провалом или ещё не проверенным свойством. Кэш результатов допускается только с точной привязкой к неизменным входам и доверенной политике.

Django-специфика тестов

Для транзакций выбирайте подходящий механизм: проверка в обычном TestCase и проверка реального commit/locking — разные эксперименты. Callback можно исследовать через captureOnCommitCallbacks, но это не заменяет проверку доставки задачи и внешнего эффекта. Django testing tools

Конкурентные тесты используют независимые соединения/исполнители и явную синхронизацию, а не случайные sleep. Среда должна сохранять существенные свойства production-БД; SQLite не объявляется эквивалентом другой СУБД для locks/constraints только потому, что тест быстро проходит.

Если проект использует Celery, eager/заглушка подходят для части проверок, но не подтверждают реальную очередь, подтверждение сообщения или сбой worker. Для таких свойств нужен отдельный интеграционный прогон.

Миграции данных

Проверяется не число файлов как универсальное правило, а ожидаемые операции и их эффект. Типовой набор:

  1. Модели и сохранённое миграционное состояние согласованы.
  2. Граф применим с поддерживаемых исходных состояний; чистая установка работает.
  3. На репрезентативных синтетических/обезличенных данных сохраняются нужные инварианты и выполняются новые ограничения.
  4. Старая/новая версия приложения совместимы с промежуточной схемой там, где rollout допускает совместную работу.
  5. Измерены время, locks, размер транзакции, ресурсы и поведение прерывания.
  6. Проверен обещанный путь восстановления, включая данные и внешние эффекты.

makemigrations --check --dry-run — полезная проверка несохранённых изменений моделей в соответствующей версии Django. Она не доказывает правильность миграции. Наличие reverse-функции не доказывает восстановление утраченных значений. Для необратимого изменения нужны backup/restore, компенсация или исправление вперёд с принятыми пределами восстановления. Django migrations

Данные, нестабильность и чувствительность

Тестовые данные имеют назначение, generator/fixture version, seed и правила обезличивания. Нельзя подменять реалистичные крайние случаи случайным набором, который всегда удобен реализации.

Flaky test не становится надёжным после повторов до зелёного состояния. Сохраняются исходное падение и все попытки. Карантин ограничен сроком и явно показывает потерянную защиту. pytest flaky tests

Для критичных инвариантов выборочно внедряйте неверный вариант и проверяйте, что тест падает. Property/stateful testing помогает исследовать пространство входов и последовательностей, если оракул сформулирован независимо. Hypothesis stateful testing

Когда система тестирования достаточна

Относительно заданного класса задач: критические сценарии и риски названы; изменённое поведение защищено; тесты чувствительны к существенным ошибкам; прогоны воспроизводимы; известные потери защиты не скрыты; результаты связаны с кандидатом; среда и данные имеют понятные ограничения. Процент покрытия строк полезен для поиска пробелов, но не является разрешением на автономное изменение сам по себе.