Fable claude-fable-5-1 · effort max срез: 2026-09-20 источников: 82 слов: 17323 complete
Методы оценки ценности и приоритизации инициатив: скоринг, экономика, данные клиентов, подходы без скоринга
Разбор механики методов оценки ценности и приоритизации (RICE, ICE, WSJF, cost of delay и CD3, взвешенные матрицы, Kano, MaxDiff, conjoint, opportunity scoring, Buy-a-feature, MoSCoW, Shape Up, стек, корзины ёмкости, now-next-later, North Star, NPV, real options, AIE, reference class forecasting, калибровка). Главный вывод: исследований точности скоринга нет, его арифметика наследует дефекты порядковых матриц; рабочая конструкция — корзины ёмкости, одна валюта на корзину, экономика для крупного, стол ставок и журнал прогнозов с калибровкой. Ограничение: калибровка требует 20 и более закрытых прогнозов на класс, эмпирика по тренировке оценщиков спорна.
Вердикт
Предмет — методы оценки ценности и приоритизации инициатив для компаний 20–500 человек: скоринг-формулы, экономические методы, методы на данных клиентов, подходы без скоринга и сквозные механики ёмкости, валюты и ретроспективы. Главный вывод: ни для одного скорингового метода не найдено исследований, сравнивающих предсказанную и реализованную ценность, а их арифметика (произведение и сумма порядковых шкал, деление на оценку усилий) наследует формально доказанные дефекты матриц риска. Скоринг при этом остаётся дешёвым фильтром для десятков мелких инициатив, если reach и effort — реальные величины, а различия баллов внутри 15 % трактуются как ничья.
Действительно стоит применять конструкцию из четырёх частей: корзины ёмкости с квартальным пересмотром, одна валюта на корзину (деньги в неделю для крупного, Δ input-метрики для продуктового), экономическая оценка крупных ставок диапазонами с финальным отбором за столом ставок и журнал прогнозов с калибровкой по классам инициатив. Ключевое ограничение: калибровка ценности требует порядка 20 закрытых прогнозов на класс, то есть двух-четырёх кварталов дисциплины, а эффекты тренировки оценщиков в литературе спорны. Самая сильная цельная альтернатива — Shape Up для компаний до примерно 80 человек с senior-группой, готовой судить без формул; для опросов клиентов — MaxDiff вместо Kano, чья опросная механика не проходит проверку на надёжность.
LLM пригодны как проверяющий согласованность единиц, извлекатель свидетельств и хранитель журнала, но не как оценщик ценности и не как замена респондентов. Уверенность высокая в критике математики скоринга и в отсутствии исследований точности, средняя в конструкции конвейера, которая является авторской сборкой без сквозной эмпирики, и низкая в численных нормах здоровья, которые помечены как ориентиры.
Что это и как работает
1.1. Определение и границы предмета
Оценка ценности (valuation) — процедура, приписывающая инициативе ожидаемый эффект в некоторой единице: деньгах, условных баллах, классе. Приоритизация — процедура упорядочивания или отбора инициатив под ограничение ёмкости. Между ними лежит шаг, который большинство методов пропускает: явное ограничение (ёмкость команды, бюджет, срок). Без ограничения упорядоченный список остаётся списком, а не решением.
Scrum Guide 2020 определяет product backlog как «emergent, ordered list», возлагает упорядочивание на Product Owner и не предписывает никакого метода упорядочивания факт [S1]. Методы этого отчёта — способы получить порядок или отбор, а не обязательная часть какого-либо фреймворка разработки.
Что предметом не является: - Оценка трудоёмкости и сроков (story points, throughput, Monte Carlo). Здесь она только вход в формулы. - Планирование во времени с учётом зависимостей: приоритет отвечает «что важнее», план — «что когда». - Портфельная финансовая теория (диверсификация, стоимость капитала). Затрагивается только там, где даёт механику для инициатив.
С чем путают: - Скоринг с измерением. Балл 8 из 10 — суждение, записанное числом, а не измерение. - Классификацию с ранжированием. MoSCoW относит требование к классу; порядок внутри класса остаётся неопределённым. - Метод с ритуалом. Формула RICE не требует квартальной сессии; ритуал — организационный выбор.
1.2. Общая механика и точки поломки
Любой метод состоит из трёх частей: входы (оценки ценности, охвата, стоимости, времени, риска), агрегация (формула или процедура) и выход (балл, ранг, класс, распределение). Точки поломки почти всегда лежат в несовместимости входов и агрегации, а не в самой формуле.
По типологии Стивенса (1946) шкалы делятся на номинальные, порядковые, интервальные и шкалы отношений; порядковая шкала допускает только сравнения «больше/меньше» и медиану, а умножение и деление корректны только на шкале отношений факт [S2]. Балл «impact = 2 из 3» порядковый: расстояние между 1 и 2 не обязано равняться расстоянию между 2 и 3, и «2» не означает «вдвое больше 1».
| Точка поломки | Механизм | Где встречается |
|---|---|---|
| Перемножение порядковых шкал | Произведение рангов не имеет интерпретации; резолюция иллюзорна | ICE, RICE (impact × confidence), матрицы риска |
| Сложение разнородных компонентов | Сумма «ценности» и «срочности» даёт ненулевой результат при нулевой ценности | WSJF в SAFe |
| Деление на оценку усилий | Относительная ошибка оценки усилий переносится в балл один к одному; мелкие задачи всплывают | RICE, WSJF, CD3 |
| Несогласованные единицы | Люди в квартал × множитель × процент ÷ человеко-месяцы | RICE |
| Ложная точность | Балл 847 против 812 воспринимается как различие | любые баллы с дробями |
| Обрезание информации | max(0, ·), мода вместо распределения | opportunity score, дискретный Kano |
| Независимость инициатив | Формула не видит зависимостей и портфельных эффектов | все формулы |
| Отсутствие обратной связи | Прогноз никогда не сравнивается с фактом | все методы без журнала прогнозов |
Формальная база критики известна из анализа матриц риска, которые устроены как «вероятность × ущерб» на порядковых шкалах: - Cox (2008) показал, что типичная матрица корректно и однозначно сравнивает лишь малую долю случайных пар (порядка менее 10 %), сжимает диапазоны (range compression) и при отрицательной корреляции частоты и тяжести может быть «хуже, чем бесполезна», то есть давать решения хуже случайных факт [S3]. - Hubbard и Evans (2010) в обзоре литературы заключили, что выгода от скоринга на порядковых шкалах «вероятно, иллюзорна в большинстве случаев» из-за свойств вербальных шкал и систематических ошибок человека при оценке эмпирика [S4]. - Krisper (2021) насчитал 24 проблемы матриц риска (порядковые шкалы, полуколичественная арифметика, сжатие диапазонов, инверсия, игнорирование неопределённости) и предложил отказаться от них в пользу количественных методов мнение [S5].
Продуктовые скоринг-формулы структурно совпадают с матрицами риска (произведение или сумма порядковых оценок), поэтому те же дефекты переносятся на них без изменений гипотеза. Деление на оценку усилий — вторая общая точка поломки, она разобрана в конце подраздела 1.3 после RICE и WSJF.
1.3. Скоринг-формулы
RICE (Intercom)
| Вход | Единица | Шкала по первоисточнику |
|---|---|---|
| Reach | люди или события за период | оценка, например «клиентов в квартал» |
| Impact | множитель | 3 massive, 2 high, 1 medium, 0.5 low, 0.25 minimal |
| Confidence | доля | 100 % high, 80 % medium, 50 % low |
| Effort | человеко-месяцы | целые числа, минимум 0.5 |
Формула: RICE = Reach × Impact × Confidence ÷ Effort; результат трактуется как «total impact per time worked»; Intercom прямо предупреждает, что балл «не должен использоваться как жёсткое правило» и что работа не по порядку допустима при явном обозначении причин факт [S6]. Страница первоисточника датирована 2018-01-05; вторичные источники относят появление метода к 2016 году мнение [S7].
Где ломается математика: - Единицы. Reach и Effort — шкалы отношений (люди, человеко-месяцы), Impact и Confidence — суждения. Произведение осмысленно только если множитель Impact трактуется как отношение («massive» в 12 раз больше «minimal»), чего первоисточник не утверждает гипотеза. - Confidence как множитель. Умножение на 0.5 означает «ожидаем половину эффекта», что смешивает вероятность успеха с величиной эффекта; при бинарном исходе математическое ожидание равно p × impact только если провал даёт ноль гипотеза. - Effort в знаменателе. См. выше; человеко-месяцы нелинейны относительно числа людей мнение [S7]. - Данные. Reach требует аналитики по сегментам; без неё «reach» превращается в догадку с ложной точностью. Критики рекомендуют фиксировать окно и источник отчёта на весь раунд и трактовать различия баллов менее 15 % как ничью мнение [S7].
Что RICE делает правильно: две из четырёх переменных — реальные величины. Если Impact привязать к измеримому эффекту на пользователя (например, прирост конверсии), формула приближается к ожидаемой ценности на человеко-месяц гипотеза.
ICE (Sean Ellis)
Impact, Confidence, Ease оцениваются по 1–10 и перемножаются; метод приписывается Sean Ellis и популяризован книгой «Hacking Growth» (2017) мнение [S8]. Назначение — быстрая сортировка десятков идей для growth-экспериментов, а не оценка крупных инвестиций.
Где ломается: три порядковые шкалы перемножены, диапазон 1–1000 создаёт иллюзию разрешения; вопрос «насколько вы уверены» позволяет ставить оценку по предпочтению, а не по свидетельствам, поэтому практики предлагают переформулировать Confidence как «сколько у нас доказательств» мнение [S8]. Данных не требует, и в этом его смысл: он пригоден только там, где за оценкой следует реальный эксперимент, то есть ретроспектива встроена в процесс гипотеза.
WSJF (SAFe) и его отличие от CD3
Официальная страница SAFe определяет WSJF как «relative cost of delay divided by relative job duration», где cost of delay складывается из user-business value, time criticality и risk reduction/opportunity enablement; подробности шкал закрыты за логином факт [S9]. По вторичным описаниям, каждый компонент оценивается по относительной шкале (модифицированный ряд Фибоначчи либо 1–10), компоненты суммируются, а размер работы служит прокси длительности вендор [S10, S11].
| Свойство | WSJF (SAFe) | CD3 (Arnold, Reinertsen) |
|---|---|---|
| Числитель | сумма трёх относительных оценок | cost of delay в деньгах за неделю |
| Знаменатель | размер работы (относительный) | длительность в неделях |
| Единицы результата | безразмерный ранг | безразмерный ранг, но входы проверяемы |
| Сравнимость между командами | нет, шкалы локальны | да, если валюта единая |
Где ломается: сложение компонентов даёт ненулевой cost of delay при нулевой ценности, тогда как экономически cost of delay — произведение ценности и срочности, и «если любой из двух параметров нулевой, cost of delay равен нулю» мнение [S12]. Относительные оценки теряют информацию о величине, не помогают при нескольких стейкхолдерах и не вскрывают допущений, ради чего и вводилось квантифицирование мнение [S12]. Снижение риска «усредняется до незначимости» двумя другими компонентами, а крупные структурные работы штрафуются знаменателем, поэтому формула «не видит стоп-фактор» мнение [S13]. Ни CD3, ни WSJF не учитывают соответствие стратегии, что практики восполняют дополнительными измерениями мнение [S11].
Деление на оценку усилий — общая точка поломки RICE, WSJF и CD3. При усилии E в знаменателе балл пропорционален 1/E: ошибка в оценке E на 30 % сдвигает балл на 30 %, а у конкурирующих инициатив баллы часто различаются на меньшую величину мнение [S7]. Крупные структурные работы (снижение риска, платформа) систематически тонут, потому что их размер велик, а вклад в «ценность» размазан по компонентам мнение [S13].
Взвешенные матрицы критериев и theme scoring
Взвешенный скоринг: оценка = Σ wᵢ × sᵢ по критериям выгоды минус (или делённая на) Σ wⱼ × cⱼ по критериям стоимости; веса задаёт организация, в вендорском примере шесть критериев, три выгоды и три стоимости вендор [S14]. Theme scoring по Bruce McCarthy: каждая тема оценивается против каждой цели по шкале 0/1/2, усилие через T-shirt 1–5, уверенность в процентах, результат сводится в scorecard; ограничение «не более трёх целей одновременно» мнение [S15]. Авторы «Product Roadmaps Relaunched» признают, что итоговые приоритеты «directionally correct» и требуют слоя практических соображений (зависимости, ресурсы, обязательства) мнение [S16].
Где ломается: веса и оценки порядковые, взвешенная сумма порядковых величин остаётся порядковой; критерии коррелируют (двойной счёт); веса выбирают те же люди, что и оценки. Строгий вариант — cost-value approach Karlsson и Ryan (1997): относительная ценность и относительная стоимость требований получаются попарными сравнениями по AHP с проверкой согласованности, применён к двум коммерческим проектам эмпирика [S17]; цена метода — n(n−1)/2 сравнений, что при 40 требованиях даёт 780 пар гипотеза.
Value против effort (матрица 2×2)
Две оси, четыре квадранта, «quick wins» в первую очередь вендор [S14]. Где ломается: бинаризация теряет величину, нет ограничения ёмкости, ничьи внутри квадранта не разрешаются. Уместна как первичный фильтр при десятках мелких идей.
Kano-взвешенный скоринг
Категория Kano (must-be, performance, attractive, indifferent) используется как фильтр или вес: сначала must-be, затем performance, затем attractive; в непрерывном варианте входами служат коэффициенты удовлетворённости и неудовлетворённости мнение [S18]. Надёжность самой классификации разбирается в 1.5; на неё и опирается вся конструкция.
1.4. Экономические методы
Cost of delay и CD3
Cost of delay формально определяется как частная производная полной ожидаемой ценности по времени; практически — ответ на вопрос «во что обойдётся задержка на месяц», в единицах деньги/время факт [S19]. Reinertsen сообщает, что около 85 % продакт-менеджеров не могут ответить на этот вопрос, а интуитивные оценки внутри одной команды расходятся в 50 раз мнение [S19]. Первоисточник — книга «The Principles of Product Development Flow» (2009), закрытая; утверждения воспроизведены по вторичным источникам.
Механика оценки cost of delay: ценность раскладывается на четыре типа выгод (рост выручки, защита выручки, снижение затрат, избежание затрат), а срочность задаётся профилем во времени; на сайте Black Swan Farming упомянуты профили срочности, но на странице они не раскрыты факт [S20]. Пример Maersk Line: одна функция с cost of delay свыше 200 000 долларов в неделю ждала в очередях 38 недель, что оценено примерно в 8 млн долларов упущенной выручки вендор [S20].
CD3 = cost of delay ÷ duration; в примере на сайте порядок B→C→A по CD3 даёт суммарную стоимость задержки 27 000 долларов против 69 000 при FIFO, снижение на 61 % факт [S21]. Это классическое правило «взвешенная кратчайшая работа первой»: сортировка по убыванию cᵢ/dᵢ минимизирует Σ cᵢ × (момент завершения i) при линейном профиле гипотеза.
Где ломается: оценка cost of delay требует модели ценности и даёт ложную точность в деньгах; длительность в знаменателе несёт ту же ошибку, что и effort; линейный профиль — допущение, при фиксированной дате или затухающей ценности формула меняется гипотеза. Данные: нужны единичная стоимость эффекта (маржа, LTV) и оценка длительности; при отсутствии финансовой модели допустимы диапазоны, что, по мнению сторонников, всё равно лучше относительных баллов мнение [S12].
NPV, ROI и ожидаемая ценность
Формулы: - NPV = Σ CFₜ/(1+r)ᵗ − I₀, где r — ставка дисконтирования; смысл — «деньги сейчас ценнее денег позже» факт [S22]. - Ожидаемая ценность EV = Σ pᵢ × vᵢ по сценариям. - ROI = (выгода − затраты)/затраты.
Где ломается: слабое место — не дисконтирование, а прогноз денежных потоков. Hubbard по опыту проектов клиентов описывает «измерительную инверсию»: переменные с наибольшей ценностью информации (отмена проекта, скорость и глубина adoption) почти не моделируются, а стоимость разработки, которую измеряют старательнее всего, имеет низкую ценность информации мнение [S23]. Для отдельной функции NPV требует атрибуции выручки к функции, что редко возможно; метод уместен для крупных инициатив: новая линия продукта, изменение цен, миграция платформы гипотеза.
Юнит-экономика как вход
Ориентиры David Skok: LTV/CAC выше 3 у лучших SaaS-компаний, окупаемость CAC в 5–7 месяцев оптимально и не более 12; автор оговаривает, что это лишь ориентиры и что сегменты могут иметь совершенно разную экономику мнение [S24]. Как вход в приоритизацию: ценность инициативы = Δ(удержание или конверсия) × число затронутых клиентов × LTV-эффект; экономия CAC при улучшении воронки. Где ломается: атрибуция изменения метрики к инициативе и разнородность сегментов мнение [S24].
Real options
Реальный опцион — право, но не обязанность предпринять действие (отложить, расширить, свернуть, стадировать); методы оценки — Black-Scholes, биномиальные решётки, Monte Carlo; входы — текущая стоимость, волатильность, срок, «цена исполнения»; ключевые ограничения — базовый актив не торгуется, волатильность приходится оценивать суждением, нужна организационная способность распознавать и исполнять опционы; термин введён Myers в 1977 году факт [S25]. Перенос на софт сделан Erdogmus и Favaro (глава 2006 года в «Value-Based Software Engineering»); текст главы недоступен, проверены только библиографические данные факт [S26]. Рабочая статья 2026 года трактует намеренный технический долг как call-опцион на валидированный продукт с оценкой через динамическое программирование и прямо сообщает: «contains no empirical results» факт [S27]. Практический остаток: стадирование инвестиций (spike → прототип → сборка) и ценность ожидания информации; численная оценка опционов в продуктовых командах не встречается гипотеза.
Applied Information Economics (Hubbard)
Порядок: определить решение, построить модель с калиброванными диапазонами, посчитать ожидаемые потери от ошибки (expected opportunity loss) и ценность информации по переменным, измерить только то, что имеет высокую ценность информации, затем решать; ценность информации равна вероятности ошибки, умноженной на её цену мнение [S23]. Формула для бинарного решения: EOL = p(ошибочно выбрать) × потери при ошибке; EVPI — верхняя граница затрат на измерение гипотеза. Где ломается: нужны калиброванные оценщики и явная модель решения; для десятков мелких задач избыточно, для двух-трёх крупных ставок в год — рабочий инструмент гипотеза.
Reference class forecasting (Flyvbjerg)
Три шага: выбрать класс сопоставимых прошлых проектов, построить распределение интересующего параметра по классу, расположить текущий проект в этом распределении; основа — «внешний взгляд» Kahneman и Tversky; первое практическое применение — Edinburgh Tram (2004), где обычная контингенция 25 % против 57 % по RCF, итоговая стоимость 776 млн фунтов факт [S28, S29]. Эмпирическая база: 258 транспортных проектов на 90 млрд долларов, оценки «highly and systematically misleading» с подавляющей статистической значимостью; объяснение — стратегическое искажение и оптимизм эмпирика [S30]. Для IT: Flyvbjerg и Budzier (HBR 2011) на выборке IT-проектов описывают «толстый хвост» перерасходов; в доступном фрагменте приведён пример Levi Strauss с бюджетом менее 5 млн и списанием 192,5 млн долларов эмпирика [S31].
Перенос на ценность: класс — прошлые инициативы того же типа (например, «улучшения онбординга»), параметр — отношение реализованной ценности к предсказанной, поправка — медиана или квантиль этого отношения, применяемая к новым прогнозам гипотеза. Это и есть механизм калибровки ценности из 1.7.
1.5. Методы на данных о клиентах
Модель Kano и опросная механика
Первоисточник: Kano, Seraku, Takahashi, Tsuji, «Attractive Quality and Must-Be Quality», Journal of the Japanese Society for Quality Control, т. 14, № 2, 1984, с. 147–156; три категории (must-be, one-dimensional, attractive) проверены опросами о телевизорах и настольных часах факт [S32].
Опросная механика по гиду Folding Burritos (2015, обновлён 2022) факт [S18]: - Пара вопросов на каждую функцию: функциональный («как вы отнесётесь, если функция есть») и дисфункциональный («если функции нет»). - Пять ответов: I like it, I expect it, I am neutral, I can tolerate it, I dislike it. - Таблица оценки переводит пару ответов в категорию: Attractive, Performance (one-dimensional), Must-be, Indifferent, Reverse, Questionable. - Дискретный анализ: категория = мода по респондентам; правило приоритета Must-be > Performance > Attractive > Indifferent. - Непрерывный анализ (DuMouchel): ответам присваиваются числа −2, −1, 0, 2, 4 по каждой оси; вопрос важности по шкале 1–9; функции наносятся на плоскость со средними и разбросом. - Коэффициенты Timko/Berger: CS = (A+O)/(A+O+M+I), DS = (O+M)/(A+O+M+I). - Ориентир выборки: не менее 15 респондентов на персону.
Эмпирика надёжности: Chapman и Callegaro (2022) показали, что стандартные вопросы Kano не образуют одномерной шкалы, варианты ответов не взаимоисключающие, а конструкция создана для медленно меняющихся товаров длительного пользования и «ломается» на технологических продуктах, где категории перекрываются эмпирика [S33]. В их тесте повторного ответа 68,7 % респондентов сначала выбрали «expect it» для тачскрина, но лишь 39,1 % повторили ответ; коэффициенты надёжности 0,61–0,73; устойчивые агрегированные категории требовали N ≥ 200; факторный анализ выявил не менее двух факторов в пяти вариантах ответа эмпирика [S34]. Рекомендация авторов: шкалы Likert или MaxDiff с XY-графиком вместо пары Kano мнение [S34].
Где ломается: мода уничтожает распределение; классификация нестабильна при малых выборках; категории дрейфуют во времени («attractive» становится «must-be») мнение [S18].
MaxDiff (best-worst scaling)
Респондент видит наборы из 4–5 пунктов и выбирает лучший и худший; 8–15 наборов на респондента, 15–40 пунктов в исследовании; оценка через hierarchical Bayes; выход — вероятности на шкале отношений, суммирующиеся в 100; нет смещения использования шкалы, так как ответы — выборы, а не оценки вендор [S35]. Сравнительное исследование Sawtooth (2003): средние t-значения различения пунктов 3,3 для рейтинговых шкал, 6,3 для парных сравнений, 7,7 для MaxDiff; выше и предсказательная валидность на holdout-ранжировании эмпирика [S36]. Ограничение: важности относительные, «ничего не нужно» не выражается без якорного варианта (anchored MaxDiff) вендор [S35]. Данные: опросный инструмент и порядка сотен респондентов; для B2B-ниши это главный барьер гипотеза.
Conjoint
Продукт раскладывается на атрибуты и уровни; респондент выбирает из наборов концептов (8–20 заданий); выход — part-worth utilities, важности атрибутов в процентах и симулятор рынка вендор [S37]. Уместен для ценообразования и пакетирования; для бэклога из десятков несвязанных функций непригоден из-за ограничения числа атрибутов гипотеза.
Opportunity scoring (Ulwick)
Формула: opportunity = importance + max(0, importance − satisfaction) факт [S38]. Strategyn заявляет 86 % успеха ODI по 43 компаниям-клиентам против средних по отрасли 17 %, и 18 успешных запусков из 21 вендор [S39]. Механика: 50–150 формулировок желаемых результатов на «работу», опрос важности и удовлетворённости, ранжирование по формуле вендор [S39].
Где ломается: важность и удовлетворённость считаются как доли top-two-box, переведённые в 0–10, и складываются как шкалы отношений; при удовлетворённости выше важности max(0, ·) обнуляет её вклад, при недообслуженности формула сводится к 2I − S, то есть важность весит вдвое; пороги: выше 15 — сильно недообслужено, ниже 10 — обслужено адекватно мнение [S40]. На трёх внутренних отчётах Strategyn одна важность объясняла около 84 % дисперсии opportunity score (R² = 0,84) эмпирика [S40]. Данные: дорого — сотни респондентов и длинный опросник; для компании 20–500 человек реалистичен усечённый вариант на 10–20 результатов гипотеза.
Данные использования и запросов
Pendo (2019): в среднем продукте 80 % функций используются редко или никогда; 12 % функций дают 80 % дневного использования; выборка 615 подписок, окно три месяца; оценка 29,5 млрд долларов получена экстраполяцией R&D-расходов 54 публичных компаний вендор [S41]. Kohavi (Bing, 2013): при объективной проверке в контролируемом эксперименте «менее трети идей двигают метрики, ради которых созданы», а в оптимизированных доменах доля ниже; свыше 250 экспериментов в день эмпирика [S42]. Смысл для приоритизации: данные использования — самая дешёвая «истина» для ретроспективы прогнозов; счётчики запросов смещены к громким клиентам гипотеза.
Buy-a-feature (Hohmann)
Участники получают условный бюджет и «покупают» функции из прайс-листа; по вендорскому описанию, цены задаются по оценке стоимости разработки, денег выдаётся примерно на половину функций, чтобы заставить выбирать, а самая дорогая функция покупается только объединением бюджетов нескольких участников; игра рекомендуется очно, потому что главный результат — разговоры участников вендор [S14, S43]. Выход: список купленного и запись переговоров; глоссарий советует применять метод после того, как «другие виды исследования рынка исчерпаны» вендор [S43]. Где ломается: выборка приглашённых, цены отражают ваши затраты, а не их ценность; результат — класс (куплено/нет), а не шкала; исследований предсказательной точности не найдено.
1.6. Подходы без скоринга
Ставки Shape Up (Basecamp)
Правила: нет центрального бэклога; ставка — обязательство на шестинедельный цикл с фиксированным временем и переменным объёмом, без прерываний, с полной ответственностью команды за результат; между циклами две недели cool-down; «really important ideas will come back to you» факт [S44]. Betting table собирается в cool-down, у Basecamp это CEO, CTO, старший программист и продуктовый стратег, встреча редко длится дольше часа-двух; ставки делаются только на один цикл вперёд; проекты без результата в срок по умолчанию не продлеваются (circuit breaker), а возвращаются на shaping; скоринг не упоминается факт [S45]. Appetite (аппетит) — заранее заданное допустимое время: шесть недель или одна-две факт [S45].
Механика в терминах отчёта: ограничение ёмкости задаётся первым (аппетит), ценность оценивается качественно узкой группой по проработанным pitch. Где ломается: зависит от качества shaping и дисциплины маленькой группы; нет явной валюты и портфельного баланса; при росте числа команд стол ставок становится узким местом гипотеза.
Стек-ранжирование
Единый упорядоченный список, как в Scrum Guide факт [S1]. Механика: вставка нового элемента попарным сравнением с соседями; вынужденный выбор без баллов. Где ломается: при десятках элементов и нескольких стейкхолдерах сравнения непоследовательны; величина различий теряется; при этом это единственный метод, который по определению не страдает от перемножения шкал гипотеза.
Распределение ёмкости по корзинам
Adam Nash (2009): три корзины — metrics movers, customer requests, customer delight; попытка свести всё к одной формуле «has not proven to be effective in practice», потому что побеждают метрические функции с более уверенным дизайном; каждый крупный релиз должен содержать все три корзины мнение [S46]. Правило 70/20/10: у Google (Schmidt, 2005) как доли времени на ядро, смежное и новое; в исследовании Nagji и Tuff (HBR 2012) компании с распределением 70/20/10 по core/adjacent/transformational опережали конкурентов, а отдача распределялась обратно, 10/20/70 эмпирика [S47, S48]. Текст HBR доступен только фрагментарно, числа приведены по вторичному изложению.
Now-next-later
Создан Janna Bastow около 2012 года как ответ на дорожные карты с датами, которые «лишают команды гибкости»; колонки различаются уверенностью и детализацией: Now — проработанная активная работа, Next — менее детальные следующие задачи, Later — «размытые» проблемы; приоритизировать проблемы, а не идеи, и привязывать всё к целям факт [S49]. Внутри колонок ранжирование задаётся отдельно; инициативы привязываются к OKR, обязательства даются по целям, а не по элементам карты вендор [S50].
North Star и «одна метрика» как фильтр
Amplitude (Cutler): North Star metric — одна метрика ценности для клиента, к ней ведут input-метрики, и работа связывается цепочкой «work → inputs → North Star»; фреймворк подаётся как «prioritization filter» вендор [S51]. Механика: сначала фильтр (двигает ли инициатива хотя бы один вход), затем ранжирование по ожидаемому Δ входа — мост к деревьям метрик.
MoSCoW (DSDM)
Must Have — минимально пригодное подмножество, тест «отменили бы проект без этого?»; Should — важно, но решение жизнеспособно без него; Could — желательно, основной резерв при риске сроков; Won't Have this time — исключено из текущего объёма; DSDM советует держать Must не выше 60 % усилий проекта, а Could — около 20 % как контингенцию; приоритеты пересматриваются минимум после каждого timebox; автор — Dai Clegg факт [S52]. Где ломается: без ограничения по усилию всё становится Must, и метод перестаёт давать гибкость; это классификация, а не порядок.
Качественные правила и вето
Правила вида «безопасность и соответствие требованиям вне очереди», «не более N параллельных инициатив», «circuit breaker по сроку» — не оценка, а ограничения на пространство решений; они дешевле любого скоринга и защищают от его слепых пятен (стоп-факторы, зависимости) гипотеза.
1.7. Сквозные механики
Ёмкость и корзины
Формулы (обозначения авторские): - Ёмкость периода C в человеко-неделях; доступная ёмкость C_avail = C × (1 − доля накладных: отпуска, поддержка, встречи). - Доли корзин aₖ, Σ aₖ = 1; бюджет корзины Bₖ = aₖ × C_avail. - Использование Uₖ = фактически потрачено в корзине k ÷ Bₖ; дрейф Dₖ = Uₖ − 1. - Правило пересмотра: доли фиксируются на квартал; изменение только с записанной причиной; «обязательная» корзина (соответствие требованиям, keep-the-lights-on) задаётся не долей, а перечнем.
Основания: ограничение Must ≤ 60 % и резерв Could ≈ 20 % в DSDM факт [S52]; три корзины Nash с требованием присутствия каждой в релизе мнение [S46]; 70/20/10 как эмпирически наблюдаемая, а не нормативная пропорция эмпирика [S48]. Измерения корзин: по типу работы (новая ценность, долг, поддержка), по продуктовым направлениям, по горизонтам (core/adjacent/transformational). Корзина — валюта портфельного уровня: решение о долях и есть оценка ценности направлений, принятая один раз в квартал, а не при каждой задаче гипотеза.
Единая валюта ценности
Варианты валюты: - Деньги в неделю (cost of delay): единственная валюта, сравнимая между командами и с затратами; требует модели ценности мнение [S20]. - Условные единицы, привязанные к эталонной инициативе («это как половина проекта X»); дёшевы, но локальны. - Δ input-метрики North Star (например, «+2 п. п. недельной активации»); сравнимы внутри продукта, конвертируются в деньги через юнит-экономику вендор [S51].
Правила конвертации: Δметрики × стоимость единицы (LTV, маржа) → деньги мнение [S24]; избежание риска → вероятность события × потери (expected opportunity loss) мнение [S23]. Ограничения: конвертация перемножает неопределённости, поэтому валюта хранится диапазоном (нижняя и верхняя границы 90 %-го интервала), а не точкой; корзины с разными валютами сравниваются только внутри корзины; смешивать деньги и баллы в одной формуле нельзя гипотеза.
Ретроспектива прогнозов и калибровка
Механика: журнал, где для каждой инициативы записаны прогноз ценности (диапазон), автор, дата, затем факт через фиксированный срок и отношение факт/прогноз. Для бинарных утверждений («метрика вырастет») — доля сбывшихся против заявленной уверенности.
Что известно о калибровке людей: - До тренировки 90 %-е интервалы содержат ответ примерно в 52 % случаев (по данным HDR на более чем 10 000 интервалов), после тренировки — 78 % вендор [S53]. - В Good Judgment Project часовой модуль тренировки улучшал точность с эффектом, сохранявшимся не менее года, а суперпрогнозисты достигали калибровки 0,01 эмпирика [S54]. - Mellers и соавторы (2014) выделили тренировку, командную работу и отбор как драйверы точности по Brier эмпирика [S55]. - Реанализ Hauenstein и соавторов (Psychological Science, 2024) на моделях латентной способности показал, что при учёте посторонних переменных эффекты тренировки и команд существенно уменьшаются, а местами меняют знак эмпирика [S56]. - Базовая частота для утверждения «инициатива сдвинет метрику» — менее трети эмпирика [S42].
Правило работы с систематическим оптимизмом: по журналу считается медиана отношения факт/прогноз по классу инициатив или по оценщику; она применяется как множитель к новым прогнозам того же класса; пересчёт ежеквартально; это перенос reference class forecasting на ценность гипотеза, основанный на трёх шагах Flyvbjerg факт [S29].
Конвейер методов
Рациональная связка для компании 20–500 человек: корзины ёмкости (квартал) → экономическая оценка крупных ставок диапазонами (cost of delay, EOL) → скоринг внутри корзины с реальными reach и effort → качественный стол ставок для финального отбора → журнал прогнозов → калибровка и пересмотр долей корзин. Подробности в разделах 4 и 5.
Актуальность и доказательная база на дату среза
2.1. Распространённость и тренд
Репрезентативных измерений распространённости методов нет; есть два опроса с известной выборкой и косвенные признаки из инструментов.
| Признак | Данные | Источник и ограничение |
|---|---|---|
| Доля команд, использующих RICE | 38 % из 94 нидерландских продуктовых команд (ноябрь 2024); RICE, Impact/Effort и MoSCoW лидируют, на три метода приходится 68 % ответов | опрос автора вендорского блога, малая выборка одной страны вендор [S57] |
| Ориентация на outcomes | большинство из более чем 1 400 респондентов предпочитают измерять успех outcomes, а не outputs; 31 % называют главным источником влияния руководство, 16 % — продажи и поддержку | вендорский отчёт ProductPlan за декабрь 2023 вендор [S58] |
| Скоринг в инструментах | пользовательские формулы приоритизации включены даже в бесплатный тариф Productboard; airfocus продаёт Priority Ratings и Priority Poker; Jira Product Discovery считает создателей идей | страницы цен вендор [S59, S60, S61] |
| Ёмкость и распределение в инструментах | Dragonboat позиционирует «visibility on allocation» и планировщик ёмкости; airfocus — Capacity Planning app | страницы цен вендор [S60, S62] |
| LLM в инструментах | кредиты AI во всех тарифах Productboard, агент и MCP-сервер у airfocus, «ambient agents» у Dragonboat; ни один вендор не заявляет автоматическую приоритизацию | страницы цен вендор [S59, S60, S62] |
| Позиция вендора о автоматической приоритизации | сотрудник команды Jira Product Discovery в 2023 году выразил скепсис к полностью автоматической приоритизации, начиная с суммаризации insights | ветка сообщества Atlassian вендор [S63] |
Тренд по этим признакам: скоринг остаётся дефолтом инструментов и опросов, а критика скоринга и подходы без скоринга растут в дискурсе, но не измерены гипотеза. Дата среза 2026-09-20; опросы старше на 21–33 месяца.
2.2. Научная и эмпирическая база по методам
Для каждого метода указано, есть ли исследования его точности как инструмента приоритизации, то есть сравнение предсказанной и реализованной ценности.
| Метод | Исследования точности | Что есть на самом деле | Статус |
|---|---|---|---|
| RICE, ICE, взвешенные матрицы, 2×2 | не найдены | перенос формальных результатов о матрицах риска на порядковых шкалах [S3, S4, S5]; практические критики [S7, S8] | гипотеза о переносе; исследований точности нет |
| WSJF (SAFe) | не найдены | критика аддитивной модели и относительных оценок [S12, S13]; детали шкал закрыты [S9] | исследований точности нет |
| Cost of delay, CD3 | нет контролируемых исследований | оптимальность правила при линейном профиле (расчётный пример) [S21]; кейс Maersk по данным сторонника метода [S20] | практика и теория, не эмпирика |
| NPV, ROI, ожидаемая ценность | стандарт финансов | ошибка в прогнозах потоков, а не в формуле; систематическое занижение затрат на 258 проектах [S30]; измерительная инверсия по опыту консультанта [S23] | эмпирика для затрат, мнение для ценности функций |
| Real options | нет для продуктовых решений | рабочая статья 2026 года прямо без эмпирики [S27]; ограничения метода известны [S25] | теория |
| AIE и ценность информации | нет независимых | опыт консультанта [S23]; калибровка людей: 52 % → 78 % по данным HDR [S53] | вендор |
| Reference class forecasting | да, для затрат и сроков | 258 транспортных проектов, систематическое занижение [S30]; Edinburgh Tram [S29]; IT-проекты с толстым хвостом [S31] | эмпирика, но для затрат, не для ценности |
| Kano | да, отрицательные | test-retest 39,1 %, надёжность 0,61–0,73, N ≥ 200 для стабильности, неодномерная шкала [S33, S34]; первоначальная проверка на телевизорах и часах [S32] | эмпирика против надёжности |
| MaxDiff | да, сравнительные | t-значения 3,3 / 6,3 / 7,7 и лучшая предсказательная валидность holdout [S36]; вендорское описание [S35] | эмпирика, источник — вендор метода |
| Conjoint | устоявшийся метод маркетинговых исследований | в этом отчёте прочитано только вендорское описание [S37] | статус не проверялся глубоко |
| Opportunity scoring | нет независимых | 86 % успеха по 43 клиентам [S39]; R² = 0,84 от одной важности на трёх отчётах [S40] | вендор против эмпирика малого объёма |
| Данные использования и эксперименты | да | менее трети идей двигают целевые метрики [S42]; 80 % функций редко используются по 615 подпискам [S41]; winner's curse: фильтр значимости завышает оценки эффектов [S64], в симуляции 10 000 экспериментов на 43 % при доле ложных открытий 27 % [S65] | эмпирика, часть вендор |
| Buy-a-feature | не найдены | вендорские описания правил [S43, S14] | исследований точности нет |
| Shape Up, now-next-later, стек-ранжирование | не найдены | описания практики авторов [S44, S45, S49] | практика компаний |
| Корзины ёмкости | косвенно | 70/20/10 коррелирует с опережением конкурентов по HBR 2012 в пересказе [S47, S48]; DSDM 60 % — норматив без исследования [S52]; три корзины — опыт практика [S46] | эмпирика корреляционная и мнение |
| Калибровка прогнозов | да, спорные | тренировка и команды повышают точность [S54, S55]; реанализ 2024 года снижает или обращает эффекты [S56] | эмпирика с противоречием |
| Ретроспектива прогнозов ценности в продуктовых командах | нет опубликованных статистик | практика pre-test impact sizing с диапазонами и обратной связью [S66] | вендор |
Итог: ни для одного скорингового метода не найдено исследований, сравнивающих предсказанную и реализованную ценность; эмпирика есть только у методов измерения (MaxDiff, Kano — отрицательная), у reference class forecasting для затрат и у экспериментов как источника базовой частоты.
2.3. Практическая база
- Intercom опубликовал RICE как внутренний инструмент, разработанный «from first principles» после итераций; оговорки о жёстком правиле встроены в первоисточник факт [S6].
- Basecamp описывает стол ставок как действующую практику с составом участников и длительностью факт [S45].
- Maersk Line по описанию Black Swan Farming применял cost of delay к портфелю; одна функция с задержкой стоимостью свыше 200 000 долларов в неделю ждала 38 недель вендор [S20].
- LinkedIn-эпохи Adam Nash: три корзины как опыт руководителя продукта; формула «не доказала эффективности на практике» мнение [S46].
- Bing: свыше 250 экспериментов в день; менее трети идей успешны эмпирика [S42].
- Pendo: 615 подписок, 80 % функций редко используются вендор [S41].
2.4. Мнение отрасли
- Сторонники скоринга — вендоры инструментов и авторы гайдов: скоринг подаётся как «объективный» способ снять споры вендор [S10, S14].
- Критики скоринга — практики, указывающие на порядковую арифметику, gaming и штраф крупных работ мнение [S7, S8, S13]; сторонники количественного cost of delay, считающие относительные оценки потерей смысла метода мнение [S12].
- Критики единой формулы — Nash и авторы «Product Roadmaps Relaunched»: формула даёт лишь направление, решение требует слоя суждения мнение [S46, S16].
- Критики опросных методов — специалисты по survey science (Chapman, Callegaro): Kano невалиден, замена — Likert и MaxDiff эмпирика [S33, S34].
- Критики ODI — независимый разбор: важность объясняет почти всё эмпирика [S40].
2.5. Главные споры
- Относительные баллы или деньги. SAFe и большинство инструментов используют относительные шкалы ради простоты; сторонники Reinertsen настаивают, что даже грубые диапазоны в деньгах лучше, потому что вскрывают допущения мнение [S11, S12].
- Формула или суждение. Формулы обещают снять HiPPO; критики отвечают, что формула переносит HiPPO внутрь оценок и добавляет ложную точность мнение [S7, S46].
- Валидность Kano. Гайды практиков рекомендуют 15 респондентов на персону [S18], survey science требует N ≥ 200 и ставит под сомнение саму шкалу [S34].
- Работает ли тренировка калибровки. Первичные результаты GJP положительны [S55], реанализ 2024 года указывает на неучтённую дисперсию метода [S56]; вендор HDR сообщает о росте с 52 % до 78 % [S53].
- Синтетические респонденты. Ipsos на пяти коммерческих исследованиях (три CBC, два MaxDiff, N = 500 людей) нашёл систематические искажения по цене и отсутствие гетерогенности сегментов эмпирика [S67]; Conjointly показал, что перефразирование промпта меняет «предпочтения» 300 синтетических респондентов с 92 % до 66 % вендор [S68]; обзор 12 рецензируемых работ 2023–2026 годов: совпадение на уровне средних при заниженной дисперсии и неверных подгруппах эмпирика [S69].
2.6. Что изменилось за 2023–2026 и как это влияет на выводы
- LLM вошли в инструменты как слой суммаризации и генерации, но не как оценщик. Кредиты AI и агенты у вендоров [S59, S60, S62]; исследовательский прототип агентов для приоритизации требований опубликован в 2024 году без данных о согласии с людьми в доступной аннотации факт [S70].
- Самоуверенность LLM задокументирована. Инструкционно настроенные модели присваивают собственным ответам до 26 % больше уверенности, чем тем же ответам, поданным как пользовательские эмпирика [S71]; 90 %-е интервалы ChatGPT покрывали ответ в 60 % случаев, а стратегии калибровки людей ухудшили результат, помогла только математическая поправка вендор [S53].
- Оценка трудоёмкости LLM стала конкурентоспособной. На 16 проектах zero-shot оценки story points четырьмя LLM превзошли обученные на 80 % данных модели глубокого обучения эмпирика [S72]; это делает effort в знаменателе формул дешевле, но не точнее по ценности.
- Критика скоринга стала предметной. Разборы 2026 года дают правила (ничья в пределах 15 %, отдельная полоса для структурных работ) вместо общих слов мнение [S7, S13]; критика ODI получила числовую опору эмпирика [S40].
- Реанализ калибровочных эффектов снижает уверенность в том, что короткая тренировка сама по себе чинит прогнозы; обратная связь по журналу остаётся необходимой эмпирика [S56].
Влияние на выводы: усиливается аргумент за конвейер «данные и эксперименты для мелкого, экономика для крупного, журнал для всего», ослабляется аргумент за любую форму «LLM оценит ценность».
Где применимо и где нет, плюсы и минусы
Списки сгруппированы по четырём классам методов и сквозным механикам; в каждом пункте назван класс или метод и механизм, почему условие работает или ломает метод.
Подходит, когда
- Скоринг-формулы: десятки мелких сопоставимых инициатив, и для двух из четырёх переменных есть реальные данные (reach из аналитики, effort из оценки команды). Формула работает как согласованный фильтр отсева, а не как точное ранжирование; порядковые дефекты не важны, когда различия величин кратные, а цель — отбросить худшее мнение [S6, S7].
- ICE: за оценкой следует реальный эксперимент. Ретроспектива встроена в процесс, ошибки оценки быстро видны, а базовая частота успеха идей меньше трети делает быструю сортировку выгоднее долгого анализа эмпирика [S8, S42].
- Cost of delay и CD3: ставки крупные, ценность накапливается со временем, и есть единичная стоимость эффекта (маржа, LTV). Валюта деньги/неделя делает инициативы сравнимыми между собой и с затратами и вскрывает допущения о том, откуда берётся ценность мнение [S20, S21].
- Applied Information Economics: две-три крупные ставки в год с ценой ошибки, оправдывающей неделю моделирования. Ценность информации указывает, что измерять перед решением, а измерительная инверсия предупреждает, что стоимость разработки — не та переменная мнение [S23].
- Reference class forecasting: накоплен журнал прошлых инициатив одного класса (порядка 20–30 записей) с прогнозом и фактом. Внешний взгляд обходит оптимизм и стратегическое искажение, которые ломают внутренние оценки эмпирика [S28, S30].
- MaxDiff: нужно ранжировать 15–40 пунктов по важности, и доступны сотни респондентов. Выборы вместо оценок дают шкалу отношений без смещения использования шкалы и лучшее различение, чем рейтинги эмпирика [S35, S36].
- Conjoint: решение о цене, пакетах или наборе уровней атрибутов. Часть ценности каждого уровня измеряется через выбор между концептами вендор [S37].
- Kano: выборка N ≥ 200, продукт зрелый и медленно меняющийся, результат нужен как ориентир категории, а не как число. Ниже этого порога агрегированные категории нестабильны эмпирика [S34].
- Buy-a-feature: нужно увидеть компромиссы клиентов или стейкхолдеров и снять давление «всё важно». Ограниченный бюджет и необходимость объединяться вынуждают проговаривать причины вендор [S43].
- Ставки Shape Up: маленькая группа senior людей способна судить о ценности, работа приходит крупными кусками, а ёмкость легко задать аппетитом. Ограничение фиксируется первым, объём подстраивается факт [S44, S45].
- Корзины ёмкости: в портфеле несколько несравнимых типов работы (долг, поддержка, новая ценность) или направлений, которые единая формула систематически обделяет. Доли решают конфликт раз в квартал, а не при каждой задаче мнение [S46].
- MoSCoW: фиксированный срок и переменный объём (релиз, проект с датой), при соблюдении потолка Must ≤ 60 % усилий. Классы дают резерв на срыв сроков факт [S52].
- Now-next-later: высокая неопределённость и необходимость коммуницировать направление наружу без дат. Колонки различаются уверенностью, обязательства даются по целям факт [S49, S50].
- North Star как фильтр: существует дерево метрик с input-метриками. Инициативы, не двигающие ни один вход, отсеиваются до всякого скоринга вендор [S51].
- Ретроспектива прогнозов: любой из методов выше применяется дольше двух кварталов. Без сравнения прогноза с фактом калибровка невозможна, а люди без тренировки систематически самоуверенны вендор [S53].
Не подходит, когда
- Скоринг-формулы для сравнения крупных структурных ставок с мелкими задачами. Усилие в знаменателе топит крупное, снижение риска усредняется другими компонентами мнение [S13].
- Скоринг без определений шкал, источника оценки и ретроспективы. Оценки становятся выражением предпочтений, различия баллов внутри 15 % трактуются как решения мнение [S7, S8].
- Скоринг с локальными относительными шкалами для сравнения между командами. Относительные оценки не переносятся между стейкхолдерами и не вскрывают допущений мнение [S12].
- WSJF в форме SAFe для инвестиционных решений в деньгах. Аддитивные прокси дают ненулевую «стоимость задержки» при нулевой ценности мнение [S12].
- NPV или ROI для отдельной функции без механизма атрибуции выручки. Прогноз денежного потока становится вымыслом с дисконтированием гипотеза.
- Численные real options при отсутствии данных о волатильности и рыночной цены базового актива. Ключевые входы приходится выдумывать, эмпирических подтверждений применимости к продуктовым решениям нет факт [S25, S27].
- Kano на выборках меньше 200, для быстро меняющихся технологических продуктов или как источник чисел для формулы. Test-retest 39,1 %, категории перекрываются, ответы не взаимоисключающие эмпирика [S33, S34].
- Opportunity scoring как «обнаружение скрытых возможностей». Важность объясняет около 84 % дисперсии балла, удовлетворённость после max(0, ·) почти не влияет эмпирика [S40].
- Данные использования как единственная истина для новых сегментов и новых типов ценности. Использование измеряет то, что уже построено; отсутствие использования у ненужного и у плохо сделанного выглядит одинаково гипотеза.
- Shape Up при многих командах, регуляторных обязательствах с датами или без senior людей, готовых судить. Стол ставок становится узким местом, а circuit breaker конфликтует с обязательствами гипотеза.
- MoSCoW без потолка усилий. Всё становится Must, и метод перестаёт давать гибкость факт [S52].
- Корзины без пересмотра долей и без учёта использования. Доли превращаются в ритуал, отклонения не замечаются гипотеза.
- Buy-a-feature для оценки величины ценности. Результат — класс «куплено/нет» на выборке приглашённых по ценам, отражающим ваши затраты вендор [S43].
Плюсы
- Скоринг: дешевизна и повторяемость. Одна таблица, полчаса на десять инициатив, аргументы записаны и проверяемы факт [S6].
- Скоринг: явные критерии снижают долю чистого HiPPO. Даже порядковая оценка требует назвать reach и effort, что делает спор предметным мнение [S7].
- Экономические методы: единая валюта. Деньги в неделю сравнимы между командами и с затратами, автоматически игнорируют sunk cost факт [S9, S21].
- Экономические методы: вскрытие допущений. Попытка квантифицировать заставляет проговорить, откуда берётся ценность мнение [S12].
- Reference class forecasting: единственный метод с доказанной способностью снимать систематический оптимизм. Работает на распределении фактов, а не на суждении эмпирика [S28, S29].
- MaxDiff и conjoint: шкала отношений и внешняя опора. Ответы клиентов, а не мнения команды; лучшее различение пунктов, чем у рейтингов эмпирика [S36].
- Kano: концептуальная рамка «базовое, линейное, восхищающее». Полезна как язык обсуждения, даже если числа ненадёжны мнение [S18].
- Подходы без скоринга: скорость и отсутствие ложной точности. Стол ставок Basecamp укладывается в час-два на цикл факт [S45].
- Корзины: защита неудобных типов работы. Долг и поддержка получают долю независимо от того, как они выглядят в формуле мнение [S46].
- Ретроспектива: единственный источник калибровки. Тренировка с обратной связью повышает долю попаданий 90 %-х интервалов с 52 % до 78 % вендор [S53].
Минусы
- Скоринг: порядковая арифметика и ложная точность. Произведение рангов не имеет интерпретации; матрицы того же типа сравнивают корректно малую долю пар факт [S3, S4].
- Скоринг: gaming. Любая переменная без источника оценки подкручивается под желаемый результат мнение [S7].
- Экономические методы: стоимость модели и калиброванных людей. 85 % продакт-менеджеров не могут назвать стоимость задержки, оценки расходятся в 50 раз мнение [S19].
- Экономические методы: ложная точность в деньгах. Число с долларами выглядит фактом даже когда это диапазон суждений гипотеза.
- Методы на данных клиентов: цена и время. Сотни респондентов, дизайн опроса, недели работы; для B2B-ниши часто недостижимо гипотеза.
- Методы на данных клиентов: нестабильность и относительность. Kano ненадёжен, MaxDiff даёт только относительные важности эмпирика [S34, S35].
- Подходы без скоринга: непрозрачность и зависимость от людей. Решение стола ставок не воспроизводимо и плохо объяснимо тем, кто не сидел за столом гипотеза.
- Корзины: закрепление структуры. Неверно выбранные измерения корзин консервируют прошлую стратегию гипотеза.
- Ретроспектива: дисциплина и лаг. Факт по ценности приходит через кварталы, журнал легко забросить; эффекты тренировки прогнозистов в реанализе оказались меньше заявленных эмпирика [S56].
Альтернативы и дерево решений
Предмет сравнения — рациональный конвейер: корзины ёмкости на квартал, единая валюта внутри корзины, экономическая оценка крупных ставок диапазонами, скоринг с реальными reach и effort внутри корзины для мелкого, стол ставок для финального отбора, журнал прогнозов с калибровкой. Альтернативы — цельные подходы того же назначения, каждый из которых компания может взять «как есть».
Сравнительная таблица
| Подход | Нужные данные | Стоимость входа | Масштаб ставок | Число инициатив за цикл | Порядковая арифметика | Сравнимость между командами | Ёмкость встроена | Ретроспектива встроена | Доказательность |
|---|---|---|---|---|---|---|---|---|---|
| Конвейер (предмет) | аналитика reach, оценка effort, единичная стоимость эффекта для крупного | средняя: 2–4 недели настройки, час в неделю ведения гипотеза | любой: крупное через экономику, мелкое через скоринг | десятки мелких + единицы крупных | только внутри корзины, с правилом ничьей | да, через валюту и корзины | да | да, журнал обязателен | сборка из методов с разной базой; целиком не исследован |
| Чистый RICE/ICE | аналитика reach (RICE) или ничего (ICE) | низкая: таблица | мелкие и средние | десятки | да, произведение шкал [S3, S6, S8] | нет, шкалы локальны | нет | нет | исследований точности нет |
| WSJF по SAFe | относительные оценки трёх компонентов и размера | низкая, но требует ритуала PI | средние, внутри ART | десятки | да, сумма и деление рангов [S9, S12] | нет | косвенно через PI | нет | исследований нет; критика аддитивности [S12, S13] |
| CD3 в деньгах | модель ценности, длительность | высокая: финансовая модель на инициативу | крупные и средние | единицы-десятки | нет, деньги/неделя [S21] | да | нет | возможна: прогноз в деньгах проверяем | кейс Maersk [S20], теория оптимальности [S21] |
| Shape Up | pitch с аппетитом, senior судьи | средняя: культура shaping | крупные (недели) | единицы | нет [S45] | нет нужды: одна группа | да, аппетит | слабая: circuit breaker, без чисел | практика Basecamp [S44, S45] |
| MoSCoW + стек | классификация, оценка усилий для потолка 60 % | низкая | релизный объём | десятки | нет [S52] | нет | да, через потолок Must | нет | норматив DSDM [S52] |
| Опросные методы (MaxDiff, opportunity) как основа | сотни респондентов, инструмент | высокая: недели и бюджет | средние и крупные | 15–40 пунктов | нет для MaxDiff [S35]; да для opportunity [S40] | да, если одна выборка | нет | нет | MaxDiff: сравнительные исследования [S36]; opportunity: вендор [S39] |
| AIE для всего | калиброванные оценщики, модель решения | высокая: дни на решение | крупные | единицы | нет [S23] | да | нет | да, калибровка встроена | опыт консультанта [S23], калибровка вендор [S53] |
Когда альтернатива целесообразнее предмета: - Чистый RICE/ICE — команда одна, инициативы мелкие и однотипные, есть эксперименты; плюс: минимальная стоимость; минус: нет ёмкости и ретроспективы, порядковая арифметика [S6, S8]. - WSJF по SAFe — организация уже живёт в SAFe и ценит единообразие ритуала выше точности; плюс: готовый шаблон; минус: аддитивные прокси, несравнимость, штраф крупного [S12, S13]. - CD3 в деньгах — есть финансовая модель, инициативы крупные, ценность накапливается во времени; плюс: настоящая валюта; минус: дорого для мелкого, ложная точность [S20, S21]. - Shape Up — компания 20–80 человек с сильной senior-группой, работа крупными кусками; плюс: скорость, отсутствие бэклога; минус: непрозрачность, узкое горлышко стола [S44, S45]. - MoSCoW + стек — фиксированный релиз с датой; плюс: резерв Could; минус: только классы [S52]. - Опросные методы — выбор среди многих потребительских функций при доступе к аудитории; плюс: внешняя шкала отношений; минус: цена и время [S35, S36]. - AIE — одна-две ставки в год с ценой ошибки в миллионы; плюс: измерение того, что важно; минус: дорого, нужны калиброванные люди [S23].
Дерево решений
- Если инициатива одна, крупная и с ценой ошибки, сопоставимой с квартальным бюджетом разработки→AIE: модель решения, калиброванные диапазоны, expected opportunity loss, измерить переменную с наибольшей ценностью информации
- Если есть прошлые проекты того же класса с фактами по затратам и срокам→добавить reference class forecasting для затрат и сроков
- Иначе→диапазоны без поправки, но с записью в журнал прогнозов
- Если инициатив в цикле меньше пяти и каждая занимает недели→стол ставок с pitch и аппетитом (Shape Up)
- Если есть единичная стоимость эффекта (маржа, LTV, стоимость простоя)→cost of delay в деньгах в неделю диапазоном, порядок по CD3
- Иначе→условные единицы, привязанные к эталонной инициативе, порядок по стеку, запись в журнал
- Если инициатив десятки и каждая занимает дни или недели→корзины ёмкости на квартал, затем внутри корзины:
- Если есть аналитика по сегментам и оценка усилий→RICE с реальными reach и effort, различия баллов внутри 15 % считаются ничьей, ничья решается стеком
- Если есть возможность контролируемых экспериментов→ICE с обязательным экспериментом и записью прогноза до запуска
- Иначе→стек-ранжирование попарным сравнением внутри корзины
- Если срок фиксирован, а объём переменный (релиз с датой, контракт)→MoSCoW с потолком Must ≤ 60 % усилий, внутри классов стек
- Если вопрос звучит «что из этого списка ценят клиенты»:
- Если доступно 200 и более респондентов→MaxDiff по важности плюс Likert по удовлетворённости с XY-графиком; Kano не применять
- Если вопрос о цене или пакетах→conjoint
- Если респондентов меньше 50→Buy-a-feature как качественная сессия с записью переговоров, без перевода в баллы
- Если нужна коммуникация направления наружу без дат→now-next-later поверх любого из вариантов выше, обязательства по целям
- Если в журнале накопилось 20 и более записей одного класса с прогнозом и фактом→применять медиану отношения факт/прогноз как поправку к новым прогнозам этого класса и пересматривать раз в квартал
- Иначе (данных нет, инициатив немного, ёмкость не задана)→корзины по типу работы с долями 60/25/15 (новая ценность, долг, поддержка) как стартовая иллюстрация, стек внутри корзин, журнал прогнозов с первого дня; скоринг добавлять только после появления аналитики reach
Практическое применение
5.1. Порядок внедрения конвейера
- Задать ёмкость и корзины. Посчитать доступные человеко-недели квартала, выбрать одно-два измерения корзин (тип работы, направление), зафиксировать доли и причину; DSDM даёт готовый потолок для обязательной части — не более 60 % усилий на Must факт [S52].
- Определить валюту. Выбрать одну валюту на корзину: деньги в неделю для крупного, Δ input-метрики для продуктовых корзин; записать правила конвертации через юнит-экономику мнение [S24, S51].
- Завести журнал прогнозов до первой оценки. Поля из раздела 6; практика pre-test impact sizing советует прогноз диапазоном, критерии успеха до запуска и обязательное сравнение с фактом вендор [S66].
- Оценивать крупное экономикой, мелкое скорингом. Крупные ставки — cost of delay диапазоном и CD3; мелкие — RICE с reach из аналитики и effort от команды, ничья в пределах 15 % мнение [S7, S21].
- Финальный отбор за столом ставок. Один-два часа на цикл, узкий состав, письменные pitch заранее, аппетит как ограничение факт [S45].
- Закрывать прогнозы и калибровать. Через фиксированный срок после релиза записать факт, посчитать отношение и попадание интервала; раз в квартал выпустить отчёт калибровки и пересмотреть доли корзин.
5.2. Ритм, роли, основания
| Ритм | Событие | Кто | Длительность | Артефакт |
|---|---|---|---|---|
| квартал | доли корзин и отчёт калибровки | руководитель продукта, руководитель разработки, финансы | 2 часа | политика корзин, отчёт калибровки |
| месяц или цикл | стол ставок по крупным инициативам | 3–5 человек: продукт, инженерия, генеральный директор или его заместитель | 1–2 часа [S45] | решения с основаниями |
| неделя | триаж мелких инициатив внутри корзины | продакт-менеджер и лид команды | 30 минут | лист оценки |
| релиз + 8 недель | закрытие прогноза | аналитик или product ops | 20 минут на инициативу | запись журнала |
Кто оценивает: reach и факт — аналитик по данным; effort — команда диапазоном; единичная стоимость эффекта — финансы; ценность — продакт-менеджер с указанием источника (данные, аналогия, экспертное суждение). Основания записываются в лист оценки в момент оценки, а не восстанавливаются постфактум; Intercom требует явно обозначать причины работы «не по порядку» факт [S6].
5.3. Сквозной сценарий (все числа — иллюстрация)
Компания-иллюстрация: 120 человек, четыре продуктовые команды по шесть инженеров, квартал 13 недель.
Ёмкость и корзины (иллюстрация). 4 × 6 × 13 = 312 человеко-недель; накладные 25 % (отпуска, поддержка, встречи) дают 234 доступных. Доли: новая ценность 55 % = 129, долг и платформа 25 % = 58, обязательства (соответствие требованиям, keep-the-lights-on) 20 % = 47. Причина записана: «в прошлом квартале долг получил 9 % и инциденты выросли».
Валюта (иллюстрация). Input-метрика North Star — активированные аккаунты в неделю; финансы дают маржинальную ценность одного активированного аккаунта 1 200 долларов за срок жизни. Тогда cost of delay инициативы = Δактиваций в неделю × 1 200, в долларах в неделю.
Крупные ставки (иллюстрация).
| Инициатива | Прогноз Δ (90 % интервал) | Cost of delay, $/нед | Длительность, нед | CD3 | Профиль |
|---|---|---|---|---|---|
| A. Новый онбординг | +40 активаций/нед (15–70) | 48 000 (18 000–84 000) | 6 | 8 000 | линейный |
| B. SSO для enterprise | защита двух контрактов по 30 000 $/мес | 15 000 (5 000–20 000) | 3 | 5 000 | фиксированная дата: продление через 8 недель |
| C. Экспорт отчётов | +5 активаций/нед эквивалент (0–12) | 6 000 (0–14 400) | 2 | 3 000 | линейный |
Порядок по CD3: A, B, C. Качественное правило «инициативы с фиксированной датой планируются так, чтобы успеть» ставит B в первые пять недель, иначе её ценность обнуляется после даты; профиль срочности меняет порядок, который дала бы формула гипотеза. Все три ставки идут в корзину «новая ценность» и занимают 6 + 3 + 2 = 11 недель одной команды из 129 доступных человеко-недель корзины.
Мелкие инициативы (иллюстрация). Внутри той же корзины 24 идеи оцениваются RICE: reach — уникальные пользователи за квартал из аналитики, impact привязан к шкале «3 = ожидаем ≥ 10 % прироста активации у затронутых, 1 = 1–3 %, 0.25 = меньше 1 %», confidence 100/80/50 по правилу «есть данные / есть аналогия / только мнение», effort — человеко-недели от команды.
| Идея | Reach, польз./кв | Impact | Confidence | Effort, чел.-нед | RICE |
|---|---|---|---|---|---|
| Подсказки в пустых состояниях | 3 000 | 1 | 0.8 | 1 | 2 400 |
| Импорт из CSV | 400 | 2 | 0.5 | 2 | 200 |
| Быстрые фильтры | 2 500 | 0.5 | 0.8 | 0.5 | 2 000 |
Первая и третья идеи различаются на 17 % и не считаются ничьей; вторая уходит вниз, но записывается причина, если её всё же берут (например, зависимость с A).
Журнал и калибровка (иллюстрация). Через восемь недель после релиза A измерено +22 активации в неделю против прогноза 40: отношение 0,55, интервал 15–70 попал. За два квартала по классу «улучшения активации» закрыто 12 прогнозов: медиана отношения 0,6, интервалы попали в 7 случаях из 12 (58 %). Решения отчёта калибровки: множитель 0,6 к новым прогнозам этого класса, интервалы расширить, оценщику с медианой 0,4 назначить парную оценку. Такой результат ожидаем: базовая частота успеха идей меньше трети эмпирика [S42], а отобранные «победители» экспериментов завышены фильтром значимости эмпирика [S64].
5.4. Типичные ошибки первого применения
- Ложная точность с первого дня. Баллы с тремя знаками и решения по разнице в 3 %; лечится правилом ничьей и диапазонами мнение [S7].
- Reach на глаз. Без фиксированного окна и отчёта reach подбирается под желаемый результат мнение [S7].
- Effort точкой. Нелинейность человеко-месяцев игнорируется; лечится диапазоном от команды мнение [S7].
- Скоринг платформенных работ вместе с функциями. Крупное тонет; лечится отдельной корзиной мнение [S13].
- Корзины по командам вместо типов работы. Доли закрепляют оргструктуру, а не портфель гипотеза.
- Калибровка по трём записям. Медиана по трём точкам — шум; порог 20 записей на класс гипотеза.
- Kano на 15 ответах как источник чисел. Категории нестабильны ниже N = 200 эмпирика [S34].
- Суммирование лифтов экспериментов. Наивная сумма «побед» завышена на десятки процентов эмпирика [S65].
5.5. Что происходит через месяцы
Источников с лонгитюдными наблюдениями за приоритизацией не найдено; ниже — следствия из механизмов. Через два квартала журнал показывает систематический оптимизм (медиана отношения ниже единицы), и множители класса становятся главным выходом ретроспективы гипотеза. Стол ставок без письменных pitch деградирует в статусную встречу; Basecamp защищает его асинхронной публикацией pitch заранее факт [S73]. Корзины без пересмотра превращаются в ритуал через три квартала: доли остаются, а использование корзины долга падает ниже половины гипотеза.
5.6. Стоимость входа
| Компонент | Время | Деньги | Компетенции |
|---|---|---|---|
| Корзины и валюта | 2–4 недели на первое согласование гипотеза | нет | юнит-экономика, доступ к финансам |
| Аналитика reach | зависит от наличия событий; недели, если событий нет | инструмент аналитики уже обычно есть | продуктовая аналитика |
| Журнал прогнозов | час в неделю ведения гипотеза | таблица или инструмент от 0 до 59 долларов за пользователя в месяц [S59, S61] | дисциплина product ops |
| Калибровка оценщиков | полдня тренировки на человека по вендорским данным вендор [S53] | внутренними силами | базовая статистика |
| Опросные методы | недели на исследование | инструмент и респонденты | survey science или подрядчик |
Артефакты
6.1. Лист оценки инициативы
Назначение: одна запись на инициативу, из которой видно, откуда взялась оценка и в какой валюте.
| Поле | Тип | Правило |
|---|---|---|
| id, название, корзина | строка | корзина обязательна до оценки |
| класс инициативы | перечисление | нужен для reference class (например, «активация», «долг», «enterprise») |
| валюта | перечисление | одна на корзину |
| прогноз ценности: low, likely, high | число в валюте | 90 %-й интервал, не точка |
| источник оценки ценности | перечисление: данные, эксперимент, аналогия, суждение | обязательное |
| reach и источник reach | число и ссылка на отчёт | окно фиксировано на раунд [S7] |
| effort: low, high и источник | человеко-недели | от команды, диапазоном |
| профиль срочности | линейный, фиксированная дата, затухающий | фиксированная дата требует поля даты |
| зависимости и стоп-факторы | список | учитываются правилом, не формулой [S13] |
| решение, кто принял, дата, причина отклонения от порядка | текст | Intercom требует явных причин [S6] |
| дата закрытия прогноза | дата | релиз плюс фиксированный срок |
Жизненный цикл: создаёт продакт-менеджер при появлении инициативы; дополняют аналитик и команда; замораживается решением стола ставок; после закрытия прогноза ссылается на запись журнала; устаревает, если инициатива не взята два квартала подряд — тогда архивируется, а не «грумится», как советует Shape Up про бэклоги факт [S44].
Пример (иллюстрация): «A. Новый онбординг; корзина: новая ценность; класс: активация; валюта: $/нед через Δактиваций × 1 200; прогноз 18 000 / 48 000 / 84 000; источник: аналогия с редизайном 2025 года; reach: 3 000 новых аккаунтов в квартал, отчёт "signup-funnel-Q3"; effort 5–7 чел.-нед; профиль линейный; зависимости: нет; решение: взять в цикл 2, стол ставок 2026-10-06».
6.2. Политика корзин
Назначение: зафиксировать доли ёмкости и правила их изменения на период.
Поля: период; измерения корзин; доли и абсолютные бюджеты в человеко-неделях; причина каждой доли; правило исключений (кто может перебросить ёмкость и с какой записью); метрика использования; дата пересмотра. Жизненный цикл: создаётся раз в квартал руководителями продукта и разработки; живёт как ограничение для стола ставок; пересматривается после каждого квартала с отчётом использования, по аналогии с пересмотром приоритетов после каждого timebox в DSDM факт [S52]. Пример (иллюстрация): «Q4-2026: новая ценность 55 % (129 чел.-нед), долг и платформа 25 % (58), обязательства 20 % (47); причина для долга: инциденты выросли при 9 % в Q3; исключение: перенос до 10 % между корзинами решением стола ставок с записью; пересмотр 2026-12-20».
6.3. Определение валюты
Назначение: сделать оценки сравнимыми внутри корзины и запретить смешение единиц.
Поля: имя валюты; единица; правила конвертации для каждой метрики (Δметрики × стоимость единицы, источник стоимости, дата актуальности); правило диапазонов; что не конвертируется (например, соответствие требованиям оценивается как ожидаемые потери × вероятность). Основание: ориентиры юнит-экономики Skok с оговоркой о сегментах мнение [S24]; логика expected opportunity loss для рисков мнение [S23]. Жизненный цикл: создаётся с финансами при запуске конвейера, обновляется при изменении юнит-экономики, версия хранится в каждой записи журнала. Пример (иллюстрация): «USD/нед; активация: 1 200 $ за аккаунт (финансы, 2026-09); удержание: 1 % месячного оттока = 9 000 $/мес; риск: вероятность × потери, вероятность из калиброванной оценки».
6.4. Журнал прогнозов
Назначение: сравнение предсказанной и реализованной ценности; единственный источник калибровки.
| Поле | Содержание |
|---|---|
| forecast_id, initiative_id, класс | связь с листом оценки |
| метрика и валюта, версия валюты | что именно измеряется |
| прогноз low / likely / high, заявленная уверенность | 90 % по умолчанию |
| автор прогноза, дата, источник оценки | для калибровки по оценщику |
| план измерения | holdout, before/after с поправкой, эксперимент; практика pre-test sizing требует критериев успеха до запуска вендор [S66] |
| факт, дата измерения, метод | вносится через фиксированный срок после релиза |
| отношение факт/прогноз, попадание интервала | вычисляется |
| поправка на winner's curse | при отборе по значимости оценка усаживается эмпирика [S64] |
Жизненный цикл: запись создаётся до решения о запуске, замораживается в момент решения, закрывается через 8 недель после релиза (срок — параметр), никогда не редактируется задним числом. Пример (иллюстрация): «F-031; A; активация; прогноз 15 / 40 / 70 активаций в неделю, 90 %; автор PM-1, 2026-10-06, аналогия; измерение: before/after с контролем сезонности; факт +22, 2026-12-15; отношение 0,55; попадание: да».
6.5. Отчёт калибровки
Назначение: раз в квартал перевести журнал в поправки.
Поля: число открытых и закрытых прогнозов; доля попаданий заявленных интервалов; медиана отношения факт/прогноз по классам и по оценщикам; рекомендованные множители на следующий квартал; изменения долей корзин; список инициатив без факта и причины. Ориентир нормы: калиброванные оценщики попадают в 90 %-е интервалы близко к 90 %, нетренированные — около половины вендор [S53]. Пример (иллюстрация): «закрыто 12 из 15; попадание 58 %; медиана 0,6 по классу активация, 1,1 по классу долг; множитель 0,6 для активации; доля долга остаётся 25 %».
6.6. Pitch (Shape Up)
Пять частей: problem (одна конкретная история, почему статус-кво не работает), appetite (сколько времени готовы потратить), solution, rabbit holes (известные ловушки), no-gos (что намеренно не делается); публикуется асинхронно до стола ставок факт [S73]. Жизненный цикл: пишет shaper, читают участники стола, после решения pitch либо становится обязательством цикла, либо не хранится в бэклоге факт [S44].
6.7. Опросник Kano или MaxDiff
Kano: пара вопросов на функцию, пять вариантов ответа, таблица оценки, вопрос важности 1–9; порог выборки по survey science N ≥ 200 эмпирика [S18, S34]. MaxDiff: список 15–40 пунктов, наборы по 4–5, 8–15 заданий на респондента вендор [S35]. Жизненный цикл: создаётся под конкретный вопрос, результат живёт один-два квартала, повторяется при смене сегмента.
6.8. MoSCoW-лист релиза
Поля: требование, класс (Must, Should, Could, Won't this time), оценка усилий, доля Must от суммы усилий; правило: Must не более 60 %, Could около 20 % как резерв, пересмотр после каждого timebox факт [S52].
С чем используется в связке
7.1. Что предшествует и что следует
Порядок слоёв, в котором приоритизация занимает одно место, а не подменяет соседей:
- Дерево метрик и North Star задают валюту: input-метрики — единицы Δ, конвертация в деньги — через юнит-экономику вендор [S51].
- OKR задают целевые Δ входов на квартал; доли корзин по направлениям — это распределение ёмкости под OKR, а key result — валюта корзины гипотеза.
- Opportunity Solution Tree поставляет кандидатов: возможности (opportunities) оцениваются опросными методами или данными, решения (solutions) — быстрым скорингом с экспериментом гипотеза.
- Оценка и приоритизация — предмет этого отчёта.
- Дорожная карта now-next-later показывает результат наружу без дат, обязательства по целям вендор [S50].
- Поставка: ordered backlog в Scrum или циклы Shape Up факт [S1, S44].
- Эксперименты и аналитика возвращают факт в журнал прогнозов; практика pre-test sizing замыкает цикл вендор [S66].
7.2. Интерфейсы со смежными темами
| Смежная тема | Что берёт от приоритизации | Что даёт ей |
|---|---|---|
| OKR и разделение ёмкости | доли корзин как инструмент исполнения OKR | целевые Δ метрик как валюта и критерий факта |
| Дорожная карта | порядок внутри колонок Now и Next | горизонты как поле «профиль срочности» |
| Opportunity Solution Tree | оценку возможностей и решений | структуру кандидатов и связь с outcome |
| Outcome-driven product management | прогноз ценности как Δ outcome | определение факта для журнала |
| Деревья метрик | правила конвертации | иерархию input-метрик, по которой считается reach и impact |
7.3. Типичные комбинации
- Корзины + RICE внутри корзины + журнал. Самая дешёвая рабочая связка для 20–150 человек гипотеза.
- Cost of delay + стол ставок. Экономика даёт порядок, стол — финальный отбор с учётом стоп-факторов и зависимостей, которые формула не видит мнение [S13, S45].
- MaxDiff + Likert по удовлетворённости + XY-график вместо Kano мнение [S34].
- North Star как фильтр + ICE + эксперимент для growth-команд вендор [S8, S51].
- MoSCoW внутри релиза с датой + стек внутри классов факт [S52].
- Reference class по журналу + AIE для крупного мнение [S23, S29].
7.4. Конфликты и несовместимости
- Shape Up и ordered backlog. Shape Up отвергает центральный бэклог, Scrum требует упорядоченный список; совмещать можно только на уровне «бэклог = список pitch на один цикл» факт [S1, S44].
- WSJF и стратегия. Ни CD3, ни WSJF не содержат соответствия стратегии; либо стратегия задаёт корзины до формулы, либо формула тянет портфель в сторону мелких срочных задач мнение [S11].
- RICE и структурные работы. Усилие в знаменателе несовместимо с оценкой платформ и снижения риска; их держат в отдельной корзине мнение [S13].
- Kano-числа и формулы. Ненадёжные категории как входы в скоринг умножают шум эмпирика [S34].
- Синтетические респонденты и опросные методы. Замена людей LLM в MaxDiff и conjoint даёт систематические искажения по цене и сегментам эмпирика [S67].
- Относительные баллы и деньги в одной формуле. Несогласованные единицы; запрет в определении валюты гипотеза.
Метрики здоровья и антипаттерны
| Признак | Здоровая норма | Симптом деградации | Источник |
|---|---|---|---|
| Доля инициатив с записанным источником оценки ценности | 100 % (ориентир) | баллы без указания, откуда взялись | ориентир автора |
| Попадание заявленных 90 %-х интервалов по закрытым прогнозам | 80–95 %; калиброванные оценщики близки к 90 % | около 50 %, как у нетренированных людей | вендор [S53] |
| Медиана отношения факт/прогноз по классу | 0,7–1,2 (ориентир) | стабильно ниже 0,5 при базовой частоте успеха идей меньше трети | эмпирика [S42]; ориентир автора |
| Доля закрытых прогнозов через два квартала после релиза | не менее 70 % (ориентир) | журнал заполнен только прогнозами | ориентир автора |
| Использование корзин Uₖ | 0,8–1,2 (ориентир) | корзина долга ниже 0,5 два квартала подряд | ориентир автора |
| Пересмотр долей корзин | раз в квартал с записанной причиной; DSDM пересматривает после каждого timebox | доли не менялись год | факт [S52] |
| Доля Must в MoSCoW | не более 60 % усилий | более 80 %, «всё Must» | факт [S52] |
| Трактовка близких баллов | различия в пределах 15 % — ничья | решения по третьему знаку | мнение [S7] |
| Инициативы, взятые не по порядку | немного и с записанной причиной | обходы приоритета молча | факт [S6] |
| Длительность стола ставок | один-два часа на цикл | многочасовые сессии с пересмотром бэклога | факт [S45] |
| Доля «успешных» инициатив по отчётам | сопоставима с базовой частотой экспериментов, менее трети при честной проверке | 90 % успеха без контрольной группы | эмпирика [S42, S64] |
Антипаттерны
Ложная точность и арифметика на баллах
Как выглядит. Таблица с RICE-баллами 847 и 812, спор о том, что «первая важнее», ICE-балл 720 у идеи, у которой ни одно из трёх чисел не имеет источника; в SAFe — сумма «ценность 8 + срочность 3 + риск 13» делится на «размер 5».
Почему возникает. Порядковые шкалы выглядят как числа, а таблица умножает всё, что в неё положили; произведение и сумма рангов не имеют интерпретации, а резолюция иллюзорна факт [S2, S3]. Сумма компонентов даёт ненулевую стоимость задержки при нулевой ценности мнение [S12].
Как чинить. Оставить в формуле только величины на шкале отношений (reach, effort, деньги), суждения хранить как диапазоны и правило ничьей 15 % мнение [S7]; крупное оценивать экономикой, а не баллами.
Когда менять практику. Если после двух раундов различия баллов внутри 15 % регулярно определяют решения, скоринг заменяется стеком внутри корзины.
Gaming оценок
Как выглядит. Reach считается за год для «своей» идеи и за квартал для чужой; в WSJF компонент «снижение риска» получает максимум у всего, что хочет автор; effort занижается, чтобы поднять балл.
Почему возникает. Любая переменная без источника — рычаг; критики отмечают выбор удобных отчётов для reach и занижение усилий мнение [S7]; при усилии в знаменателе занижение размера крупного поднимает его в списке.
Как чинить. Фиксированное окно и отчёт для reach на весь раунд, effort только от команды диапазоном, журнал прогнозов по оценщику: систематическое отношение факт/прогноз ниже медианы у одного человека становится видимым в отчёте калибровки.
Когда менять практику. Если отчёт калибровки два квартала подряд показывает у одних и тех же оценщиков отношение вдвое ниже остальных, оценку ценности переводят на парную с обязательным источником.
HiPPO под видом скоринга
Как выглядит. Таблица заполнена после того, как решение принято; веса критериев подобраны так, чтобы «нужная» инициатива вышла наверх; стол ставок превращается в одобрение решения самого высокооплачиваемого человека.
Почему возникает. Термин HiPPO (Highest Paid Person's Opinion) появился в 2006 году у Intuit и Microsoft именно как обозначение решений по старшинству вместо данных факт [S74]; формула не убирает мнение, а прячет его в весах и оценках мнение [S46].
Как чинить. Веса и шкалы фиксируются до раунда и не меняются в его ходе; оценки записываются до обсуждения; журнал показывает, чьи прогнозы сбываются; для крупного — эксперимент вместо спора, как в Bing, где решает контролируемый тест эмпирика [S42].
Когда менять практику. Если веса менялись чаще одного раза в квартал или решения совпадают с мнением одного человека без записанных оснований, скоринг убирают и переходят к явным ставкам с личной подписью и журналом.
Скоринг без ретроспективы
Как выглядит. Годы RICE-таблиц, ни один балл не сравнивался с фактом; «успешность» релизов оценивается по факту выпуска.
Почему возникает. Факт по ценности приходит через кварталы, измерение стоит усилий, а формула создаёт ощущение, что решение уже обосновано; исследований точности скоринга нет, поэтому ни у кого нет внешнего ориентира гипотеза. Базовая частота успеха идей меньше трети означает, что большинство прогнозов систематически завышены, но без журнала этого не видно эмпирика [S42].
Как чинить. Журнал прогнозов из раздела 6 с датой закрытия в момент прогноза; практика pre-test sizing: критерии успеха до запуска вендор [S66]; поправка на winner's curse при отборе по значимости эмпирика [S64].
Когда менять практику. Если за два квартала закрыто меньше половины прогнозов, скоринг как метод бессмыслен и заменяется корзинами и стеком до появления измерений.
Корзины без пересмотра
Как выглядит. Доли 70/20/10 висят на стене второй год; корзина долга «всегда занята» срочными функциями; никто не считает использование.
Почему возникает. Доли воспринимаются как правило, а не как оценка; 70/20/10 — эмпирически наблюдаемая пропорция, зависящая от отрасли и стадии эмпирика [S47, S48]; DSDM требует пересмотра после каждого timebox, но это правило теряется при пересказе метода факт [S52].
Как чинить. Метрика использования Uₖ в отчёте калибровки, квартальный пересмотр с записанной причиной, исключения только через стол ставок.
Когда менять практику. Если использование корзины отклоняется от доли более чем на половину два квартала подряд без записанных причин, измерения корзин выбраны неверно и пересобираются (например, по типам работы вместо команд).
Инструменты и софт
9.1. Категории
- Таблицы (Google Sheets, Excel): лист оценки, журнал прогнозов и отчёт калибровки реализуются формулами; единственная категория, где журнал с фактом делается без ограничений продукта гипотеза.
- Системы управления продуктом со скорингом: Productboard, airfocus, Jira Product Discovery, Aha!, ProdPad — сущности «идея/фича», поля, формулы, связь с обратной связью и с задачами разработки.
- Портфельные системы с ёмкостью: Dragonboat, отчасти airfocus — доли, ёмкость, сценарии.
- Платформы экспериментов и аналитики (например, Statsig): источник факта для журнала и практика pre-test sizing вендор [S66].
- Опросные инструменты (Sawtooth Software): MaxDiff, conjoint вендор [S35, S37].
9.2. Функциональный разбор ведущих продуктов (проверено 2026-09-20)
| Продукт | Сущности | Ключевые операции приоритизации | Интеграции | Ограничения | Цена входа |
|---|---|---|---|---|---|
| Productboard | заметки и insights, фичи, цели, поля | пользовательские формулы приоритизации и поля во всех тарифах, включая бесплатный; отслеживание зависимостей и статусы с Business; иерархия целей только в Enterprise | обратная связь из каналов поддержки, задачи разработки | AI по кредитам: 50 в месяц на бесплатном, 250–800 на платных; журнал прогнозов с фактом на странице не заявлен | Free 0, Plus 19, Business 59 долларов за maker в месяц при годовой оплате, Enterprise по запросу, минимум 2 и 5 maker соответственно вендор [S59] |
| airfocus | items в workspace, иерархия продуктов (3 уровня в Professional, без ограничений в Enterprise) | Priority Ratings, пользовательская формула, Priority Poker, «prioritize by insights score», Capacity Planning app, Item Mirror для портфеля | Jira и др., MCP-сервер, агент | цены не публикуются, бесплатного триала нет, только демо | по запросу вендор [S60] |
| Jira Product Discovery | идеи, поля, insights, связь с эпиками и задачами Jira | поля и формулы по идеям (на странице цен детально не описаны), insights из Jira Service Management | Jira, JSM | только облако; на странице цен AI не заявлен; сотрудник команды в 2023 году скептичен к автоматической приоритизации | Free до 3 создателей, Standard 10, Premium 25 долларов за создателя в месяц, contributors бесплатны вендор [S61, S63] |
| Aha! | фичи, идеи, scorecard | «prioritize features with a scorecard», «prioritize ideas by potential revenue» | экосистема Aha! | AI-ассистент по общему пулу кредитов | Roadmaps от 59, Ideas от 39 долларов за пользователя в месяц вендор [S75] |
| ProdPad | идеи, обратная связь, дорожная карта now-next-later, цели | модульная покупка Roadmaps, Ideas, Feedback; оценка идей | интеграции разработки | на странице цен суммы не показаны, есть продлеваемый триал от 7 дней | не определена по странице вендор [S76] |
| Dragonboat | портфель, инициативы, ёмкость, сценарии | «visibility on allocation», планировщик ёмкости, сценарное планирование, «ambient agents» | Jira, Azure DevOps, Asana, Slack, Teams, MCP | цены не публикуются | Essential и Enterprise по запросу вендор [S62] |
Общее ограничение: по страницам продуктов не видно первоклассной сущности «прогноз с последующим фактом и отношением»; журнал прогнозов приходится строить полями и отчётами или держать в таблице гипотеза. Вендорские страницы не сравнивают точность своих формул ни с чем, что согласуется с отсутствием исследований в разделе 2.
9.3. Что выбрать
- Соло или одна команда: таблица с листом оценки и журналом; при необходимости связи с Jira — бесплатный Jira Product Discovery до трёх создателей вендор [S61].
- Компания 20–150 человек с несколькими командами: Productboard Plus или Jira Product Discovery Standard как хранилище идей и формул, журнал прогнозов в таблице до появления потребности в отчётах вендор [S59, S61].
- Организация 150–500 человек с портфелем и корзинами: airfocus или Dragonboat ради ёмкости и распределения, при условии, что политика корзин и валюта определены до внедрения вендор [S60, S62].
- Опросные исследования: Sawtooth для MaxDiff и conjoint при доступе к сотням респондентов вендор [S35, S37].
Адаптация под LLM и агентов
10.1. Существующие практики
- Вендоры встроили LLM как слой суммаризации обратной связи, генерации черновиков спецификаций и агентов с доступом через MCP; ни один из проверенных продуктов не заявляет автоматическую оценку ценности или ранжирование вендор [S59, S60, S62]. Сотрудник команды Jira Product Discovery в 2023 году описал старт с суммаризации insights и скепсис к автоматической приоритизации, поскольку решение зависит от факторов вне данных вендор [S63].
- Исследования: прототип с агентами и prompt engineering для применения разных техник приоритизации требований опубликован в 2024 году; в аннотации нет метрик согласия с людьми факт [S70]. По оценке трудоёмкости LLM в zero-shot на 16 проектах превзошли обученные модели глубокого обучения, few-shot улучшил результат эмпирика [S72].
- Синтетические респонденты: Ipsos на пяти коммерческих исследованиях (три CBC, два MaxDiff, N = 500) нашёл искажения по цене и отсутствие гетерогенности сегментов эмпирика [S67]; перефразирование промпта меняло «предпочтения» 300 синтетических респондентов с 92 % до 66 % вендор [S68]; обзор 12 работ 2023–2026 годов: средние совпадают, дисперсия занижена, подгруппы и регрессии неверны эмпирика [S69].
- Калибровка LLM: инструкционно настроенные модели присваивают собственным ответам до 26 % больше уверенности, поправка — подавать ответ как пользовательский текст при запросе уверенности эмпирика [S71]; 90 %-е интервалы ChatGPT покрывали факт в 60 % случаев, инструкции по калибровке ухудшили результат до 58 %, а математическая поправка границ дала 89,3 % на тестовой половине из 31 события вендор [S53].
- Открытые наборы навыков агентов: в каталоге awesome-agent-skills есть набор навыков для продуктового менеджмента с приоритизацией по impact, effort, risk и strategic alignment; описание, число звёзд и дата обновления в доступном фрагменте не видны факт [S77]. Зрелых открытых инструментов с журналом прогнозов и калибровкой не найдено.
10.2. Что автоматизируется
| Задача | Что делает LLM или агент | Доверие |
|---|---|---|
| Проверка согласованности единиц | находит смешение валют в одной корзине, деление на порядковые величины, умножение полей с флагом ordinal | высокое: правило детерминировано, LLM нужен только для извлечения из текста |
| Скоринг без источника | помечает оценки без поля «источник» и без ссылки на отчёт | высокое |
| Ведение журнала прогнозов | извлекает прогнозы из pitch и документов, создаёт записи, напоминает о закрытии, считает отношения и попадания | высокое при проверке человеком дат и метрик |
| Отчёт калибровки | считает медианы по классам и оценщикам, предлагает множители | высокое, расчёт детерминирован |
| Извлечение свидетельств | связывает заметки обратной связи с инициативами, считает упоминания | среднее: вендоры делают, но нужна выборочная проверка вендор [S59] |
| Поиск дублей и кластеров идей | группирует похожие идеи | среднее |
| Reference class | подбирает прошлые инициативы того же класса из журнала | среднее, класс подтверждает человек |
| Первичная оценка трудоёмкости | zero-shot и few-shot story points | среднее: сопоставимо с моделями, но не с командой эмпирика [S72] |
| Оценка ценности | генерирует правдоподобные числа | низкое: без данных это суждение с самоуверенностью до 26 % эмпирика [S71] |
| Замена клиентов | синтетические респонденты в MaxDiff и conjoint | низкое: искажения по цене и сегментам эмпирика [S67, S69] |
10.3. Чему нельзя доверять
- Оценкам ценности без данных. LLM не знает вашего reach и юнит-экономики; число будет правдоподобным и самоуверенным эмпирика [S53, S71].
- Заявленной уверенности. Уверенность модели не совпадает с частотой попаданий; допустима только после математической поправки по накопленному журналу вендор [S53].
- Синтетическим клиентам как источнику важностей; допустимо использовать их только для запросов к уже собранным данным эмпирика [S69].
- Автоматической приоритизации целиком: зависимости, стоп-факторы и стратегия не лежат в данных таблицы вендор [S63].
10.4. Машиночитаемая структура оценки
Схема ниже — авторская конструкция гипотеза; она задаёт поля так, чтобы правила проверки были детерминированными, а LLM выступал извлекателем и проверяющим, а не оценщиком.
initiative:
id: A-2026-014
title: Новый онбординг
bucket: new-value
class: activation
urgency_profile: linear # linear | fixed_date | decaying
fixed_date: null
dependencies: []
showstopper: false
currency:
name: USD_per_week
version: "2026-09"
conversion:
metric: weekly_activations
unit_value: 1200
unit_value_source: finance-2026-09
value_forecast:
metric: weekly_activations
low: 15
likely: 40
high: 70
interval: 0.9
scale: ratio
source_type: analogy # data | experiment | analogy | opinion
source_ref: retro-onboarding-2025
author: pm-1
date: 2026-10-06
reach:
value: 3000
unit: users_per_quarter
scale: ratio
source_ref: "report:signup-funnel-Q3"
window: 2026-Q3
impact:
value: 2
scale: ordinal
anchor: "3 = не менее 10 % прироста активации; 1 = 1–3 %; 0.25 = менее 1 %"
confidence:
value: 0.8
scale: ratio
rule: "data = 1.0; analogy = 0.8; opinion = 0.5"
effort:
low: 5
high: 7
unit: person_weeks
scale: ratio
source: team-estimate
scores:
cd3:
value: 8000
formula: cost_of_delay_per_week / duration_weeks
inputs_scales:
- ratio
- ratio
rice:
value: null
reason: "impact порядковый; балл применяется только внутри корзины с правилом ничьей 0.15"
decision:
outcome: bet # bet | defer | reject
by: betting-table
date: 2026-10-06
override_reason: null
forecast_log_id: F-031
close_after_weeks: 8
checks:
- rule: single_currency_per_bucket
status: pass
- rule: no_multiplication_of_ordinal_fields
status: warn
detail: rice умножает impact (ordinal)
- rule: value_forecast_has_source
status: pass
- rule: effort_is_range
status: pass
- rule: forecast_log_entry_exists
status: pass
- rule: fixed_date_requires_date
status: pass
Правила проверки, пригодные для автоматического контроля гипотеза: - single_currency_per_bucket: все инициативы корзины имеют одинаковое currency.name. - no_multiplication_of_ordinal_fields: формула не умножает и не делит поля со scale = ordinal; при нарушении балл помечается как «только для ничьей внутри корзины». - value_forecast_has_source: source_type ≠ null и source_ref ≠ null; для source_type = opinion запрещён confidence выше 0,5. - effort_is_range: low < high; точечные оценки отклоняются. - forecast_log_entry_exists до decision.outcome = bet. - retro_closed: через close_after_weeks после релиза запись журнала содержит факт; иначе инициатива попадает в отчёт как «не закрыта». - calibration_applied: если по классу есть 20 и более закрытых записей, к value_forecast применён множитель класса, и он записан. - units_consistent: reach.unit и value_forecast.metric относятся к одному периоду.
10.5. Риски
- Автоматизационный уклон: числа от агента принимаются как данные; лечится обязательным полем source_type и запретом source_type = llm для value_forecast гипотеза.
- Gaming через промпт: оценщик просит модель «обосновать» желаемый балл; журнал по оценщику остаётся единственной защитой.
- Утечка данных обратной связи во внешние модели; решается политикой данных, вне предмета отчёта.
Происхождение, ключевые фигуры, что читать
11.1. Какую боль решали и что из этого актуально
| Год | Метод, фигура | Боль тогда | Что актуально сейчас |
|---|---|---|---|
| 1946 | типология шкал, S. S. Stevens | какие операции допустимы над измерениями | запрет умножать порядковые баллы факт [S2] |
| 1964–1970-е | conjoint, Paul Green, V. Srinivasan; choice-based — Jordan Louviere | измерить ценность атрибутов через выбор, а не рейтинг | ценообразование и пакеты факт [S78] |
| 1977 | real options, Stewart Myers | ценность гибкости не видна в NPV | стадирование инвестиций как логика, не как формула факт [S25] |
| 1979 | планировочная ошибка, Kahneman и Tversky | внутренний взгляд занижает сроки и затраты | внешний взгляд и reference class факт [S29] |
| 1984 | Kano, Seraku, Takahashi, Tsuji | качество не одномерно: базовое, линейное, восхищающее | язык категорий; опросная механика под сомнением факт [S32] |
| 1987 | best-worst scaling, Jordan Louviere | рейтинги не различают пункты и страдают от смещений шкалы | MaxDiff как замена рейтингов и Kano факт [S79] |
| 1994 (по вторичным данным) | MoSCoW, Dai Clegg, затем DSDM | фиксированный срок требует резать объём | классификация с потолком 60 % факт [S52] |
| 1997 | cost-value approach, Karlsson и Ryan | как строго сравнить ценность и стоимость требований | AHP как «дорогой, но честный» скоринг эмпирика [S17] |
| 2002 | opportunity algorithm, Anthony Ulwick | найти важные и неудовлетворённые результаты | формула сведена критикой к важности факт [S38] |
| 2006 | Innovation Games, Luke Hohmann | клиенты не умеют ранжировать, но умеют торговаться | Buy-a-feature как качественная сессия факт [S80] |
| 2006 | reference class forecasting, Bent Flyvbjerg | оптимизм и стратегическое искажение в прогнозах | калибровка ценности по журналу факт [S28] |
| 2007 | Applied Information Economics, Douglas Hubbard; «How to Measure Anything» (3-е изд. 2014) | «неизмеримое» измеряют не то | ценность информации, калибровка факт [S23, S81] |
| 2008 | критика матриц риска, Tony Cox | порядковые матрицы дают ошибочные ранги | перенос на скоринг-формулы факт [S3] |
| 2009 | «Principles of Product Development Flow», Donald Reinertsen | никто не знает стоимость задержки | cost of delay как валюта мнение [S19] |
| 2009 | три корзины, Adam Nash | единая формула обделяет типы работы | корзины ёмкости мнение [S46] |
| 2011–2012 | WSJF в SAFe | масштабировать cost of delay без денег | относительные прокси и их критика мнение [S12] |
| 2011 | Good Judgment Project, Tetlock и Mellers | кто умеет прогнозировать и почему | калибровка как навык, спор о величине эффектов эмпирика [S54, S56] |
| 2012 | now-next-later, Janna Bastow | дорожные карты с датами ломают гибкость | горизонты по уверенности факт [S49] |
| 2013 | CD3 и Maersk, Joshua Arnold | как применить cost of delay к портфелю | деньги в неделю, деление на длительность вендор [S20, S21] |
| 2016–2018 | RICE, Sean McBride, Intercom | спор «маленькое для всех или большое для немногих» | reach и effort как реальные величины факт [S6] |
| 2017 | ICE, Sean Ellis, «Hacking Growth» | быстрая сортировка growth-экспериментов | сортировка перед экспериментом мнение [S8] |
| 2019 | Shape Up, Ryan Singer, Basecamp | бэклоги и оценки разрастаются | аппетит и стол ставок факт [S44] |
| 2022 | критика Kano, Chapman и Callegaro | популярный опрос не проходит проверку survey science | замена на Likert и MaxDiff эмпирика [S33] |
| 2024–2026 | LLM в оценке и синтетические респонденты | автоматизировать оценку | автоматизировать проверку, а не оценку эмпирика [S67, S71] |
Актуальная редакция руководства по MoSCoW опубликована Agile Business Consortium 2026-05-28 и повторяет пороги 60 % и 20 % факт [S82].
11.2. Ключевые фигуры
Donald Reinertsen (cost of delay, WSJF в исходной форме), Joshua Arnold (CD3, Maersk), Noriaki Kano, Jordan Louviere (MaxDiff, choice-based conjoint), Anthony Ulwick (ODI), Luke Hohmann (Innovation Games), Dai Clegg (MoSCoW), Sean McBride и Intercom (RICE), Sean Ellis (ICE), Ryan Singer (Shape Up), Janna Bastow (now-next-later), Adam Nash (три корзины), John Cutler (North Star playbook), Douglas Hubbard (AIE, калибровка), Bent Flyvbjerg (RCF), Philip Tetlock и Barbara Mellers (калибровка прогнозистов), Tony Cox (критика матриц), Chris Chapman и Mario Callegaro (критика Kano), Ronny Kohavi (эксперименты, HiPPO).
11.3. Канонические первоисточники и лучшие критические разборы
Первоисточники: Intercom о RICE [S6]; SAFe о WSJF [S9]; Black Swan Farming о cost of delay и CD3 [S20, S21]; Shape Up [S44, S45, S73]; DSDM о MoSCoW [S52]; Kano 1984 [S32]; Ulwick 2002 [S38]; Flyvbjerg 2006 [S28]; Hubbard [S23, S81]; Nash 2009 [S46]; Bastow [S49]. Критические разборы: Cox 2008 [S3], Hubbard и Evans 2010 [S4], Chapman и Callegaro 2022 [S33, S34], Black Swan Farming о SAFe [S12], Buchanan об ODI [S40], реанализ GJP [S56], обзор синтетических пользователей [S69].
11.4. Список чтения
- Intercom, RICE [S6] — первоисточник с оговоркой, что балл не правило.
- Black Swan Farming, Cost of Delay и CD3 [S20, S21] — как перевести ценность в деньги в неделю и зачем делить на длительность.
- Black Swan Farming, SAFe and WSJF [S12] — почему относительные прокси теряют смысл cost of delay.
- Cox, What's Wrong with Risk Matrices [S3] — формальный аргумент против порядковых произведений.
- Hubbard, The IT Measurement Inversion [S23] — что измерять перед решением.
- Hubbard, How to Measure Anything [S81] — калибровка и ценность информации; книга закрыта, прочитана только страница издателя.
- Flyvbjerg, From Nobel Prize to Project Management [S28] — три шага reference class forecasting.
- Flyvbjerg, Holm, Buhl 2002 [S30] — эмпирика систематического занижения.
- Folding Burritos, Kano [S18] — самая полная опросная механика Kano.
- Chapman и Callegaro, Critical Assessment of the Kano Model [S33, S34] — почему этой механике нельзя верить как числам.
- Sawtooth, MaxDiff [S35, S36] — что взять вместо Kano.
- Buchanan, ODI critique [S40] — что на самом деле измеряет opportunity score.
- Kohavi, Large Scale Experimentation at Bing [S42] — базовая частота успеха идей.
- van Zwet и Cator [S64] и Maruskin [S65] — почему «победы» экспериментов завышены и как усаживать.
- Shape Up, главы 6–8 [S73, S44, S45] — pitch, ставки, стол.
- Adam Nash, Three Feature Buckets [S46] — зачем корзины вместо одной формулы.
- Agile Business Consortium, MoSCoW [S52] — потолок 60 % как забытая часть метода.
- Bastow, Why I Invented the Now-Next-Later Roadmap [S49] — горизонты вместо дат.
- AI Impacts о GJP [S54] и Hauenstein и др. [S56] — что известно и что спорно о тренировке прогнозистов.
- Hubbard Decision Research о ChatGPT [S53] и Sanz-Guerrero и др. [S71] — самоуверенность LLM.
- Ipsos, LLMs for Conjoint and MaxDiff [S67] и MeasuringU [S69] — границы синтетических респондентов.
Открытые вопросы и границы уверенности
12.1. Что не удалось проверить
- Шкалы WSJF в SAFe. Официальная страница закрыта за логином [S9]; ряд Фибоначчи и правило «наименьший = 1» взяты из вторичных описаний [S10, S11]. Архивная копия недоступна из-за блокировки web.archive.org инструментом.
- Утверждения Reinertsen о 85 % и расхождении оценок в 50 раз — только по вторичным источникам [S19]; книга 2009 года не читалась.
- Числа Nagji и Tuff (70/20/10 и отдача 10/20/70) — по вендорскому пересказу [S47]; текст HBR виден фрагментарно [S48].
- Cox 2008 и Hubbard и Evans 2010 — аннотации доступны только фрагментами через поисковую выдачу; полные тексты за платным доступом [S3, S4].
- Karlsson и Ryan 1997 — метаданные и краткие пересказы; полный текст не читался [S17]. Обзор Achimugu и соавторов 2014 года по приоритизации требований не читался.
- Erdogmus, Favaro, Halling 2006 — только библиографические данные [S26].
- Статистика «треть/треть/треть» по экспериментам Microsoft из статьи 2009 года — PDF не удалось разобрать; в отчёте использована формулировка «менее трети» из блога Bing [S42].
- t-значения MaxDiff (3,3 / 6,3 / 7,7) — из фрагмента статьи 2003 года; полный текст не открылся [S36].
- Эффекты тренировки в GJP — числовые эффекты Mellers и соавторов не извлечены [S55]; реанализ прочитан по аннотации [S56].
- Статья Lee и Shen о winner's curse в онлайн-экспериментах и «From Noise to Bias» о самоуверенности в прогнозах новых продуктов — запросы к Semantic Scholar упёрлись в лимит; не использованы.
- Цены ProdPad — на странице цен не показаны [S76]; сторонние каталоги не использованы.
- Год появления MoSCoW (1994) и дата публикации RICE (2016) — только по вторичным источникам; страница Intercom датирована 2018-01-05 [S6].
- Кейс Maersk — по сайту сторонника метода [S20]; статья Arnold и Yuce 2013 года не читалась.
- Книги «Hacking Growth», «Innovation Games», «Superforecasting», «Product Roadmaps Relaunched», «How to Measure Anything» — закрыты; использованы страницы издателей и пересказы [S8, S15, S16, S80, S81].
12.2. Где источники противоречат друг другу
- Kano. Гайд практиков рекомендует 15 респондентов на персону [S18]; survey science требует N ≥ 200 и оспаривает шкалу [S34].
- Калибровка. Первичные результаты GJP и вендорские данные HDR положительны [S53, S55]; реанализ 2024 года снижает эффекты [S56].
- Относительные баллы против денег. Сторонники SAFe считают относительные оценки практичными [S10, S11]; сторонники Reinertsen — потерей смысла [S12].
- ODI. Вендор заявляет 86 % успеха [S39]; независимый разбор показывает, что формула почти целиком измеряет важность [S40].
- LLM. Оценка трудоёмкости LLM конкурентоспособна [S72], оценка ценности и предпочтений — нет [S67, S71].
12.3. Какие данные изменили бы вывод
- Исследование, сравнивающее реализованную ценность инициатив, отобранных скорингом, экономикой и суждением, на одной выборке компаний; сейчас таких нет.
- Опубликованные журналы прогнозов продуктовых команд с распределением отношения факт/прогноз по классам; они дали бы эмпирические множители вместо иллюстраций.
- Независимая репликация калибровочных результатов HDR.
- Оценка LLM как проверяющего (согласованность единиц, пропуски источников) на реальных листах оценки.
12.4. Ограничения доступа
- Платные и закрытые: HBR, Wiley, IEEE, Springer, SAFe.
- Отказы 403: ResearchGate, PMI, Planview, Medium (разборы Jason Yip и Jens-Fabian Goetzmann), PDMA, Sawtooth technical papers.
- Нечитаемые PDF: репринт Chapman и Callegaro (использованы их HTML-посты), Hubbard и Evans, Kohavi 2009.
- Лимиты Semantic Scholar API на трёх запросах; web.archive.org недоступен инструменту.
Все прочитанные источники и вид доступа перечислены в реестре. Статус отчёта — complete, поскольку все разделы заполнены по доступным источникам, а пробелы названы выше.
Реестр источников
| ID | Название | Автор или издатель | URL | Публикация | Доступ (дата) | Вид доступа | Что подтверждает |
|---|---|---|---|---|---|---|---|
| S1 | The 2020 Scrum Guide | Ken Schwaber, Jeff Sutherland | scrumguides.org/scrum-guide.html | 2020-11 | 2026-09-20 | полный текст | раздел 1: backlog как ordered list без предписанного метода; стек-ранжирование |
| S2 | Level of measurement | Wikipedia | en.wikipedia.org/wiki/Level_of_measurement | без даты | 2026-09-20 | полный текст | раздел 1: типология Стивенса, допустимые операции по шкалам |
| S3 | What's Wrong with Risk Matrices? | Louis Anthony Cox, Risk Analysis 28(2) | onlinelibrary.wiley.com/doi/10.1111/j.1539-6924.2008.01030.x | 2008 | 2026-09-20 | фрагмент | раздел 1–2: дефекты матриц на порядковых шкалах, «хуже, чем бесполезны» |
| S4 | Problems with scoring methods and ordinal scales in risk assessment | Douglas Hubbard, Dylan Evans, IBM Journal of Research and Development | ieeexplore.ieee.org/document/5464409/ | 2010 | 2026-09-20 | фрагмент | раздел 1–2: иллюзорность выгоды порядкового скоринга |
| S5 | Problems with Risk Matrices Using Ordinal Scales | Michael Krisper, arXiv 2103.05440 | arxiv.org/abs/2103.05440 | 2021-03-07 | 2026-09-20 | аннотация | раздел 1: 24 проблемы матриц, отказ в пользу количественных методов |
| S6 | RICE Prioritization Framework for Product Managers | Sean McBride, Intercom | intercom.com/blog/rice-simple-prioritization-for-product-… | 2018-01-05 | 2026-09-20 | полный текст | раздел 1: шкалы и формула RICE, оговорка о жёстком правиле; раздел 11: происхождение |
| S7 | RICE Scoring Explained (and When Its Math Lies) | Rock (редакция) | rock.so/blog/rice-scoring | 2026-05-25 | 2026-09-20 | полный текст | раздел 1–2, 8: критика RICE, правило ничьей 15 %, датировка 2016 |
| S8 | ICE Framework: How (NOT) to Score/Prioritize Growth Experiments | Ward van Gasteren | growwithward.com/ice-prioritization-framework | без даты | 2026-09-20 | полный текст | раздел 1: определение ICE, атрибуция Sean Ellis, критика Confidence |
| S9 | WSJF | Scaled Agile, Inc. | framework.scaledagile.com/wsjf/ | без даты | 2026-09-20 | фрагмент | раздел 1: определение WSJF и компонентов; детали шкал за логином |
| S10 | Weighted Shortest Job First (glossary) | ProductPlan | productplan.com/glossary/weighted-shortest-job-first/ | без даты | 2026-09-20 | полный текст | раздел 1: шкалы компонентов, пример расчёта (вендор) |
| S11 | Cost of Delay Divided by Duration (CD3) calculation vs SAFe WSJF | Wind4Change | wind4change.com/cost-delay-divided-duration-cd3-wsjf-rein… | без даты | 2026-09-20 | полный текст | раздел 1: сравнение CD3 и WSJF, шкала Фибоначчи, отсутствие стратегии |
| S12 | SAFe and Weighted Shortest Job First (WSJF) | Black Swan Farming (Joshua Arnold) | blackswanfarming.com/safe-and-weighted-shortest-job-first… | без даты | 2026-09-20 | полный текст | раздел 1–2: критика аддитивной модели и относительных оценок |
| S13 | Weighted Shortest Job First (WSJF) can't see your showstopper | Zac Beckman, BossLogic | blog.bosslogic.com/p/weighted-shortest-job-first-wsjf | 2026-08-27 | 2026-09-20 | полный текст | раздел 1, 8: штраф крупных рисковых работ, усреднение риска |
| S14 | The Ultimate Guide to Product Management Prioritization Frameworks | ProductPlan | productplan.com/learn/product-management-frameworks | без даты | 2026-09-20 | полный текст | раздел 1: взвешенный скоринг, матрица 2×2, Buy-a-feature (вендор) |
| S15 | Notes on Bruce McCarthy's Prioritizing Product Goals | walkerux (конспект выступления McCarthy) | walkerux.wordpress.com/2017/08/21/notes-on-bruce-mccarthy… | 2017-08-21 | 2026-09-20 | полный текст | раздел 1: theme scoring 0/1/2, T-shirt, confidence |
| S16 | Book Review: Key Takeaways from Product Roadmaps Relaunched | ProductPlan | productplan.com/learn/product-roadmaps-relaunched | без даты | 2026-09-20 | полный текст | раздел 1: приоритеты «directionally correct», слой практических соображений |
| S17 | A Cost-Value Approach for Prioritizing Requirements | Joachim Karlsson, Kevin Ryan, IEEE Software 14(5) | dl.acm.org/doi/10.1109/52.605933 | 1997-09 | 2026-09-20 | фрагмент | раздел 1–2: AHP-подход ценность/стоимость, два коммерческих проекта |
| S18 | The Complete Guide to the Kano Model | Daniel Zacarias, Folding Burritos | foldingburritos.com/blog/kano-model/ | 2015-06-05 | 2026-09-20 | полный текст | раздел 1, 6: опросная механика Kano, таблица оценки, коэффициенты, выборка |
| S19 | Cost of delay | Wikipedia | en.wikipedia.org/wiki/Cost_of_delay | без даты | 2026-09-20 | полный текст | раздел 1: определение, 85 % и 50:1 по Reinertsen |
| S20 | Cost of Delay | Black Swan Farming | blackswanfarming.com/cost-of-delay/ | без даты | 2026-09-20 | полный текст | раздел 1: типы выгод, пример Maersk 200 000 долларов в неделю |
| S21 | Cost of Delay Divided by Duration | Black Swan Farming (Joshua Arnold) | blackswanfarming.com/cost-of-delay-divided-by-duration/ | без даты | 2026-09-20 | полный текст | раздел 1: формула CD3, пример 27 000 против 69 000 |
| S22 | A Refresher on Net Present Value | Amy Gallo, Harvard Business Review | hbr.org/2014/11/a-refresher-on-net-present-value | 2014-11-19 | 2026-09-20 | фрагмент | раздел 1: смысл NPV и временной стоимости денег |
| S23 | The IT Measurement Inversion | Douglas Hubbard, CIO | cio.com/article/274975/it-organization-the-it-measurement… | 2007-06-13 | 2026-09-20 | полный текст | раздел 1: измерительная инверсия, шаги AIE, ценность информации |
| S24 | SaaS Metrics 2.0 – A Guide to Measuring and Improving what Matters | David Skok, For Entrepreneurs | forentrepreneurs.com/saas-metrics-2/ | без даты | 2026-09-20 | полный текст | раздел 1: LTV/CAC > 3, окупаемость CAC, оговорки |
| S25 | Real options valuation | Wikipedia | en.wikipedia.org/wiki/Real_options_valuation | без даты | 2026-09-20 | полный текст | раздел 1: типы опционов, методы оценки, ограничения, Myers 1977 |
| S26 | Valuation of Software Initiatives Under Uncertainty: Concepts, Issues, and Techniques | Hakan Erdogmus, John Favaro, Michael Halling; Value-Based Software Engineering, Springer | link.springer.com/chapter/10.1007/3-540-29263-2_3 | 2006 | 2026-09-20 | недоступен | раздел 1, 11: библиографические данные о переносе real options в софт |
| S27 | Strategic Technical Debt: A Real Options Approach to Early-Stage Software Experimentation | Rashid Azarang, Mohammad Reza Azarang Esfandiari, arXiv 2608.16112 | arxiv.org/html/2608.16112 | 2026-08-16 | 2026-09-20 | полный текст | раздел 1–2: real options для техдолга без эмпирических результатов |
| S28 | From Nobel Prize to Project Management: Getting Risks Right | Bent Flyvbjerg, Project Management Journal 37(3); arXiv 1302.3642 | arxiv.org/abs/1302.3642 | 2006-08 | 2026-09-20 | аннотация | раздел 1, 11: RCF, оптимизм и стратегическое искажение |
| S29 | Reference class forecasting | Wikipedia | en.wikipedia.org/wiki/Reference_class_forecasting | без даты | 2026-09-20 | полный текст | раздел 1: три шага, Edinburgh Tram, история |
| S30 | Underestimating Costs in Public Works Projects: Error or Lie? | Bent Flyvbjerg, Mette Skamris Holm, Søren Buhl, Journal of the American Planning Association | api.semanticscholar.org/graph/v1/paper/DOI:10.1080/019443… | 2002 | 2026-09-20 | аннотация | раздел 1–2: 258 проектов, систематическое занижение затрат |
| S31 | Why Your IT Project May Be Riskier Than You Think | Bent Flyvbjerg, Alexander Budzier, Harvard Business Review | hbr.org/2011/09/why-your-it-project-may-be-riskier-than-y… | 2011-09 | 2026-09-20 | фрагмент | раздел 1–2: толстый хвост IT-проектов, пример Levi Strauss |
| S32 | Attractive Quality and Must-Be Quality | Noriaki Kano, Nobuhiko Seraku, Fumio Takahashi, Shin-ichi Tsuji; Journal of the Japanese Society for Quality Control 14(2) | jstage.jst.go.jp/article/quality/14/2/14_KJ00002952366/_a… | 1984 | 2026-09-20 | аннотация | раздел 1, 11: первоисточник модели Kano |
| S33 | Critical Assessment of the Kano Model, Part 1 | Chris Chapman, Mario Callegaro, Quant UX Blog | quantuxblog.com/critical-assessment-of-the-kano-model-part-1 | 2022-05 | 2026-09-20 | полный текст | раздел 1–2: теоретические дефекты вопросов Kano |
| S34 | Critical Assessment of the Kano Model, Part 2 | Chris Chapman, Mario Callegaro, Quant UX Blog | quantuxblog.com/critical-assessment-of-the-kano-model-part-2 | 2022-05 | 2026-09-20 | полный текст | раздел 1–2: test-retest 39,1 %, надёжность 0,61–0,73, N ≥ 200 |
| S35 | MaxDiff | Sawtooth Software | sawtoothsoftware.com/maxdiff | без даты | 2026-09-20 | полный текст | раздел 1: дизайн задач MaxDiff, выход на шкале отношений (вендор) |
| S36 | Maximum Difference Scaling: Improved Measures of Importance and Preference for Segmentation | Steve Cohen, Sawtooth Software Research Paper Series | sawtoothsoftware.com/resources/technical-papers/maximum-d… | 2003 | 2026-09-20 | фрагмент | раздел 1–2: t-значения 3,3 / 6,3 / 7,7, предсказательная валидность |
| S37 | Conjoint Analysis | Sawtooth Software | sawtoothsoftware.com/conjoint-analysis | без даты | 2026-09-20 | полный текст | раздел 1: механика conjoint (вендор) |
| S38 | Turn Customer Input into Innovation (репринт HBR 2002) | Anthony Ulwick, Strategyn | strategyn.com/turn-customer-input-into-innovation/ | 2002-01 | 2026-09-20 | полный текст | раздел 1, 11: формула opportunity score, пример Cordis |
| S39 | Outcome-Driven Innovation Process | Strategyn | strategyn.com/outcome-driven-innovation-process/ | без даты | 2026-09-20 | полный текст | раздел 1–2: 86 % успеха по 43 компаниям (вендор) |
| S40 | Outcome Driven Innovation: A Critique on the Quantification Process | Braden Buchanan, Substack | bradenbuchanan.substack.com/p/outcome-driven-innovation-a… | 2026-08-05 | 2026-09-20 | полный текст | раздел 1–2: потеря информации max(), двойной вес важности, R² = 0,84 |
| S41 | The 2019 Feature Adoption Report | Pendo | pendo.io/resources/the-2019-feature-adoption-report/ | 2019 | 2026-09-20 | полный текст | раздел 1–2: 80 % функций редко используются, 615 подписок (вендор) |
| S42 | Large Scale Experimentation at Bing | Ronny Kohavi, Bing Search Quality Insights | blogs.bing.com/search-quality-insights/August-2013/Large-… | 2013-08-08 | 2026-09-20 | полный текст | раздел 1–2: менее трети идей двигают метрики |
| S43 | What Is Buy-a-Feature? | airfocus (глоссарий) | airfocus.com/glossary/what-is-buy-a-feature/ | без даты | 2026-09-20 | полный текст | раздел 1: правила игры, атрибуция Hohmann (вендор) |
| S44 | Shape Up, глава 7: Bets, Not Backlogs | Ryan Singer, Basecamp | basecamp.com/shapeup/2.1-chapter-07 | 2019 | 2026-09-20 | полный текст | раздел 1: отказ от бэклога, ставка как обязательство, cool-down |
| S45 | Shape Up, глава 8: The Betting Table | Ryan Singer, Basecamp | basecamp.com/shapeup/2.2-chapter-08 | 2019 | 2026-09-20 | полный текст | раздел 1, 5: состав стола ставок, аппетит, circuit breaker |
| S46 | Guide to Product Planning: Three Feature Buckets | Adam Nash | adamnash.blog/2009/07/22/guide-to-product-planning-three-… | 2009-07-22 | 2026-09-20 | полный текст | раздел 1, 5: три корзины, отказ от единой формулы |
| S47 | What is the 70-20-10 Rule of Innovation and How to Use It | Diana Porumboiu, Viima | viima.com/blog/70-20-10-rule-of-innovation | 2021-08-27 | 2026-09-20 | полный текст | раздел 1: Google 2005, пересказ Nagji и Tuff (вендор) |
| S48 | Managing Your Innovation Portfolio | Bansi Nagji, Geoff Tuff, Harvard Business Review | hbr.org/2012/05/managing-your-innovation-portfolio | 2012-05 | 2026-09-20 | фрагмент | раздел 1: 70/20/10 и отдача 10/20/70 (числа по вторичному пересказу) |
| S49 | Why I Invented the Now-Next-Later Roadmap | Janna Bastow, ProdPad | prodpad.com/blog/invented-now-next-later-roadmap/ | 2022-10-18 | 2026-09-20 | полный текст | раздел 1, 11: происхождение и механика now-next-later |
| S50 | What Is a Now-Next-Later Roadmap? | ProdPad (глоссарий) | prodpad.com/glossary/now-next-later-roadmap/ | без даты | 2026-09-20 | полный текст | раздел 1: колонки по уверенности, связь с OKR (вендор) |
| S51 | About North Star Framework | Amplitude (John Cutler) | amplitude.com/books/north-star/about-north-star-framework | без даты | 2026-09-20 | полный текст | раздел 1: North Star как фильтр приоритизации (вендор) |
| S52 | MoSCoW Prioritisation (DSDM Project Framework) | Agile Business Consortium | agilebusiness.org/dsdm-project-framework/moscow-prioritis… | без даты | 2026-09-20 | полный текст | раздел 1, 6: категории, Must ≤ 60 %, Could ≈ 20 %, Dai Clegg |
| S53 | Calibrating Chat GPT for Its Overconfidence | Robert Weant, Hubbard Decision Research | hubbardresearch.com/chat-gpt-ai-calibration/ | 2023 | 2026-09-20 | полный текст | раздел 1, 10: люди 52 % → 78 %, ChatGPT 60 %, математическая поправка (вендор) |
| S54 | Evidence on good forecasting practices from the Good Judgment Project | AI Impacts | aiimpacts.org/evidence-on-good-forecasting-practices-from… | без даты | 2026-09-20 | полный текст | раздел 1: часовая тренировка, калибровка суперпрогнозистов 0,01 |
| S55 | Psychological Strategies for Winning a Geopolitical Forecasting Tournament | Barbara Mellers и др., Psychological Science | journals.sagepub.com/doi/10.1177/0956797614524255 | 2014 | 2026-09-20 | фрагмент | раздел 1: тренировка, команды, отбор как драйверы точности |
| S56 | Rethinking the Role of Teams and Training in Geopolitical Forecasting | Clifford Hauenstein и др., Psychological Science | api.semanticscholar.org/graph/v1/paper/DOI:10.1177/095679… | 2024 | 2026-09-20 | аннотация | раздел 1: реанализ снижает или обращает эффекты тренировки и команд |
| S57 | 10 Product Prioritization Frameworks (2026): Which to Use | ProductLift (блог вендора, опрос ноября 2024) | productlift.dev/blog/product-prioritization-framework/ | без даты | 2026-09-20 | полный текст | раздел 2: 94 команды, RICE 38 %, три метода дают 68 % (вендор) |
| S58 | The 2024 State of Product Management Annual Report | ProductPlan | productplan.com/2024-state-of-product-management-annual-r… | 2024 | 2026-09-20 | полный текст | раздел 2: более 1 400 респондентов, outcomes против outputs, источники влияния (вендор) |
| S59 | Productboard Pricing | Productboard | productboard.com/pricing/ | без даты | 2026-09-20 | полный текст | раздел 2, 9: тарифы, формулы приоритизации, кредиты AI (вендор) |
| S60 | airfocus Pricing | airfocus by Lucid | airfocus.com/pricing/ | без даты | 2026-09-20 | полный текст | раздел 2, 9: Priority Ratings, Priority Poker, Capacity Planning, агент и MCP (вендор) |
| S61 | Jira Product Discovery Pricing | Atlassian | atlassian.com/software/jira/product-discovery/pricing | без даты | 2026-09-20 | полный текст | раздел 2, 9: тарифы по создателям, бесплатный уровень (вендор) |
| S62 | Dragonboat Pricing | Dragonboat | dragonboat.io/pricing/ | без даты | 2026-09-20 | полный текст | раздел 2, 9: непубличные цены, allocation, ambient agents (вендор) |
| S63 | Jira Product Discovery + Atlassian Intelligence integration: AI-driven features in JPD | Atlassian Community (ветка с ответом сотрудника JPD) | community.atlassian.com/forums/Jira-Product-Discovery/Jir… | 2023-08-30 | 2026-09-20 | полный текст | раздел 2, 9, 10: скепсис к автоматической приоритизации, суммаризация insights |
| S64 | The Significance Filter, the Winner's Curse and the Need to Shrink | Erik van Zwet, Eric Cator, arXiv 2009.09440 | arxiv.org/abs/2009.09440 | 2020-09-20 | 2026-09-20 | аннотация | раздел 2, 5: завышение отобранных эффектов, необходимость усадки |
| S65 | Estimating Total Experimentation Impact | Jared Maruskin, Towards Data Science | towardsdatascience.com/estimating-total-experimentation-i… | 2023-09-20 | 2026-09-20 | полный текст | раздел 2, 5: симуляция 10 000 экспериментов, завышение 43 %, FDR 27 % |
| S66 | Impact sizing: Pre-test value estimation | Statsig | statsig.com/perspectives/impact-sizing-pretest-estimation | 2025-06-23 | 2026-09-20 | полный текст | раздел 2, 5, 6: практика прогноза до эксперимента диапазонами и обратной связи (вендор) |
| S67 | The Viability of Large Language Models for Conjoint and MaxDiff | Ipsos | ipsos.com/sites/default/files/ct/publication/documents/20… | 2024-04 | 2026-09-20 | полный текст | раздел 2, 10: пять исследований, N = 500, искажения по цене и сегментам |
| S68 | Synthetic respondents are the homoeopathy of market research | Nik Samoylov, Conjointly | conjointly.com/blog/synthetic-respondents-are-the-homeopa… | 2024-03-11 | 2026-09-20 | полный текст | раздел 2, 10: нестабильность синтетических ответов при перефразировании (вендор) |
| S69 | A Review of Experiments with Synthetic Users | Jim Lewis, Jeff Sauro, MeasuringU | measuringu.com/review-of-experiments-with-synthetic-users/ | 2026-04 | 2026-09-20 | полный текст | раздел 2, 10: обзор 12 работ, заниженная дисперсия, неверные подгруппы |
| S70 | Prioritizing Software Requirements Using Large Language Models | Malik Abdul Sami и др., arXiv 2405.01564 | arxiv.org/abs/2405.01564 | 2024-04-05 | 2026-09-20 | аннотация | раздел 2, 10: прототип агентов для приоритизации требований |
| S71 | Large Language Models Are Overconfident in Their Own Responses | Mario Sanz-Guerrero, Manuel Mager, Katharina von der Wense, arXiv 2606.03437 (ACL 2026 Findings) | arxiv.org/abs/2606.03437 | 2026-06-02 | 2026-09-20 | аннотация | раздел 2, 10: ownership bias до 26 %, поправка через подачу ответа как пользовательского |
| S72 | Agile Story Point Estimation with Large Language Models | Pranam Prakash Shetty и др., arXiv 2603.06276 | arxiv.org/abs/2603.06276 | 2026-03-06 | 2026-09-20 | аннотация | раздел 2, 10: zero-shot LLM лучше обученных моделей на 16 проектах |
| S73 | Shape Up, глава 6: Write the Pitch | Ryan Singer, Basecamp | basecamp.com/shapeup/1.5-chapter-06 | 2019 | 2026-09-20 | полный текст | раздел 5, 6, 11: пять частей pitch, асинхронная публикация |
| S74 | HiPPO | Ronny Kohavi, ExP Platform | exp-platform.com/hippo/ | без даты | 2026-09-20 | полный текст | раздел 8: происхождение термина HiPPO в 2006 году |
| S75 | Aha! Pricing | Aha! | aha.io/pricing | без даты | 2026-09-20 | полный текст | раздел 9: Roadmaps от 59, Ideas от 39 долларов, scorecard, AI-кредиты (вендор) |
| S76 | ProdPad Pricing | ProdPad | prodpad.com/pricing/ | без даты | 2026-09-20 | полный текст | раздел 9: модульная покупка, суммы на странице не показаны (вендор) |
| S77 | awesome-agent-skills | VoltAgent (GitHub) | github.com/VoltAgent/awesome-agent-skills | без даты | 2026-09-20 | фрагмент | раздел 10: наличие набора навыков для продуктового менеджмента с приоритизацией |
| S78 | Conjoint analysis | Wikipedia | en.wikipedia.org/wiki/Conjoint_analysis | без даты | 2026-09-20 | полный текст | раздел 11: Green, Srinivasan, Louviere; ограничения conjoint |
| S79 | Best–worst scaling | Wikipedia | en.wikipedia.org/wiki/Best%E2%80%93worst_scaling | без даты | 2026-09-20 | полный текст | раздел 11: Louviere 1987, три случая BWS, MaxDiff как подмножество |
| S80 | Innovation Games: Creating Breakthrough Products Through Collaborative Play | Luke Hohmann, Addison-Wesley Professional (страница InformIT) | informit.com/store/innovation-games-creating-breakthrough… | 2006-08-28 | 2026-09-20 | аннотация | раздел 11: год и издатель, Buy a Feature как одна из 12 игр |
| S81 | How to Measure Anything: Finding the Value of Intangibles in Business, 3rd Edition | Douglas W. Hubbard, Wiley | wiley.com/en-us/How+to+Measure+Anything%3A+Finding+the+Va… | 2014-03 | 2026-09-20 | аннотация | раздел 11: библиографические данные книги, AIE |
| S82 | What is MoSCoW Prioritization? | Agile Business Consortium | agilebusiness.org/resource/what-is-moscow-prioritization/ | 2026-05-28 | 2026-09-20 | полный текст | раздел 11: актуальная редакция, пороги 60 % и 20 % |
Словарь терминов
- RICE Reach, Impact, Confidence, Effort — охват, эффект, уверенность, усилие
- скоринг Intercom, произведение первых трёх, делённое на четвёртое.
- ICE Impact, Confidence, Ease — эффект, уверенность, лёгкость
- скоринг growth-идей по трём оценкам 1–10, перемноженным.
- WSJF Weighted Shortest Job First — взвешенная кратчайшая работа первой
- правило порядка «стоимость задержки, делённая на длительность»; в SAFe — сумма трёх относительных оценок, делённая на размер.
- Cost of delay стоимость задержки
- скорость потери ценности со временем, деньги в единицу времени.
- CD3 Cost of Delay Divided by Duration
- стоимость задержки, делённая на длительность работы.
- Urgency profile профиль срочности
- форма зависимости ценности от времени — линейная, с фиксированной датой, затухающая.
- NPV Net Present Value — чистая приведённая стоимость
- сумма дисконтированных денежных потоков минус вложения.
- ROI Return on Investment — отдача на вложения
- отношение выгоды за вычетом затрат к затратам.
- Expected value ожидаемая ценность
- сумма исходов, взвешенных вероятностями.
- LTV Lifetime Value — ценность клиента за срок жизни
- прибыль от клиента за всё время отношений.
- CAC Customer Acquisition Cost — стоимость привлечения клиента
- затраты на привлечение одного клиента.
- CAC payback окупаемость привлечения
- месяцы до возврата затрат на привлечение.
- Real options реальные опционы
- право, но не обязанность отложить, расширить, свернуть инициативу; оценивается методами финансовых опционов.
- Applied Information Economics, AIE прикладная информационная экономика
- метод Hubbard — модель решения, калиброванные диапазоны, ценность информации, измерение только важного.
- EVPI, EOL Expected Value of Perfect Information, Expected Opportunity Loss — ожидаемая ценность полной информации, ожидаемые потери от ошибки
- верхняя граница цены измерения и ожидаемая цена неверного решения.
- Measurement inversion измерительная инверсия
- наблюдение Hubbard, что чаще всего измеряют переменные с наименьшей ценностью информации.
- Reference class forecasting, RCF прогноз по референтному классу
- прогноз из распределения фактических исходов сопоставимых прошлых проектов.
- Outside view внешний взгляд
- оценка по статистике похожих случаев вместо деталей текущего.
- Optimism bias смещение оптимизма
- систематическая недооценка затрат и переоценка выгод.
- Strategic misrepresentation стратегическое искажение
- намеренное занижение затрат ради одобрения.
- Kano model модель Kano
- классификация свойств на must-be, performance (one-dimensional), attractive, indifferent, reverse по паре вопросов.
- Functional / dysfunctional question функциональный и дисфункциональный вопрос
- пара вопросов Kano о наличии и отсутствии свойства.
- CS / DS coefficients коэффициенты удовлетворённости и неудовлетворённости
- доли ответов, показывающие, насколько наличие радует, а отсутствие огорчает.
- Test-retest reliability надёжность повторного измерения
- согласие ответов одного респондента при повторе вопроса.
- MaxDiff, best-worst scaling максимальная разница, шкалирование «лучший-худший»
- метод опроса, где респондент выбирает лучший и худший пункт в наборах; выход на шкале отношений.
- Anchored MaxDiff якорный MaxDiff
- вариант с якорем, позволяющий отличить «важно» от «неважно» в абсолютном смысле.
- Conjoint analysis совместный анализ
- оценка ценности уровней атрибутов через выбор между концептами.
- Part-worth частичная полезность
- вклад уровня атрибута в выбор.
- Opportunity score оценка возможности
- формула Ulwick — важность плюс положительная разница важности и удовлетворённости.
- ODI Outcome-Driven Innovation
- методология Strategyn на основе желаемых результатов и opportunity score.
- Top-two-box доля двух верхних градаций
- процент респондентов, выбравших два верхних пункта шкалы.
- Likert scale шкала Лайкерта
- рейтинговая шкала согласия или важности.
- Buy-a-feature купи функцию
- игра Hohmann, где участники покупают функции на ограниченный условный бюджет.
- MoSCoW Must, Should, Could, Won't have this time
- классификация требований DSDM с потолком Must в 60 % усилий.
- Timebox тайм-бокс
- фиксированный отрезок времени с переменным объёмом.
- Shape Up название методики Basecamp
- циклы по шесть недель, ставки вместо бэклога, аппетит вместо оценки.
- Betting table стол ставок
- встреча узкого круга, решающая, на какие pitch ставить цикл.
- Appetite аппетит
- заранее заданное допустимое время на работу.
- Pitch питч
- документ с проблемой, аппетитом, решением, ловушками и исключениями.
- Circuit breaker предохранитель
- правило Shape Up не продлевать проект, не уложившийся в цикл.
- Cool-down охлаждение
- две недели между циклами Shape Up.
- Now-next-later сейчас, дальше, позже
- дорожная карта по горизонтам уверенности без дат.
- North Star metric метрика Полярной звезды
- единая метрика ценности для клиента, к которой ведут input-метрики.
- Input metric входная метрика
- опережающий показатель, влияющий на North Star.
- Stack ranking стек-ранжирование
- единый упорядоченный список без баллов.
- Capacity bucket корзина ёмкости
- доля ёмкости периода, закреплённая за типом работы, направлением или горизонтом.
- Keep-the-lights-on, KTLO поддержание работы
- обязательная эксплуатационная работа.
- Theme scoring оценка тем
- скоринг тем против целей по шкале 0/1/2 с весами и T-shirt-оценкой усилий.
- T-shirt sizing размеры футболок
- грубая оценка усилий S/M/L/XL.
- AHP Analytic Hierarchy Process — метод анализа иерархий
- попарные сравнения с проверкой согласованности.
- Ordinal scale порядковая шкала
- допускает только сравнение порядка; умножение и деление некорректны.
- Ratio scale шкала отношений
- допускает все арифметические операции; есть естественный ноль.
- Range compression сжатие диапазона
- присвоение одинаковых рангов количественно разным величинам.
- False precision ложная точность
- представление суждения числом с большим числом знаков.
- Winner's curse проклятие победителя
- завышение оценок эффектов, отобранных по статистической значимости.
- Significance filter фильтр значимости
- отбор только значимых результатов, порождающий winner's curse.
- Shrinkage усадка
- статистическая поправка оценок к среднему для компенсации отбора.
- Holdout контрольная группа удержания
- часть пользователей без изменения для измерения факта.
- Calibration калибровка
- совпадение заявленной уверенности с частотой попаданий.
- Brier score оценка Брайера
- мера точности вероятностных прогнозов, ниже — лучше.
- HiPPO Highest Paid Person's Opinion — мнение самого высокооплачиваемого
- решение по старшинству вместо данных.
- Story points сторипоинты
- относительная оценка трудоёмкости в agile-командах.
- Person-month, person-week человеко-месяц, человеко-неделя
- единица усилия одного человека за период.
- OKR Objectives and Key Results — цели и ключевые результаты
- рамка целеполагания с измеримыми результатами.
- Opportunity Solution Tree, OST дерево возможностей и решений
- структура от outcome к возможностям и решениям.
- Synthetic respondents синтетические респонденты
- ответы LLM вместо людей в опросах.
- Ownership bias смещение владения
- завышение LLM уверенности в собственных ответах по сравнению с теми же ответами от пользователя.
- MCP Model Context Protocol
- протокол подключения инструментов к LLM-агентам.
- Zero-shot, few-shot без примеров, с несколькими примерами
- режимы запроса к LLM без обучения на проекте или с несколькими примерами.
- Pre-test impact sizing оценка эффекта до эксперимента
- запись ожидаемого эффекта диапазоном до запуска для последующего сравнения.
- Forecast journal журнал прогнозов
- реестр прогнозов ценности с последующим фактом и отношением.
- Calibration report отчёт калибровки
- квартальная сводка попаданий интервалов и медиан отношения факт/прогноз.