Проверка на истории
Модели обучаются на прошлом и сравниваются с фактом следующих периодов.
ПРОГНОЗИРОВАНИЕ И ПРОВЕРКА
Модели, которые можно
сравнить с результатом.
Статистические и ML-подходы оцениваются на одинаковых исторических периодах. Выбор опирается на качество прогноза.
ОБОСНОВАННОЕ ПЛАНИРОВАНИЕ
Проверяемые прогнозы.
Измеримый эффект.
Прозрачная неопределённость
Ошибки прогноза, смещение и качество интервалов рассматриваются отдельно.
Эффект действий — в пилоте
Рост от рекомендаций проверяется отдельно от качества прогнозирования.
ПОСЛЕДОВАТЕЛЬНАЯ ПРОВЕРКА
История
Данные до выбранной даты
Прогноз
Следующий период
Сравнение
Факт, ошибка, смещение
Обновление
Проверка новой версии
ОЦЕНКА КАЧЕСТВА
Не одна цифра точности.
Ошибка и смещение
Насколько прогноз отличается от факта и склонен ли он завышать или занижать продажи.
Прогнозные интервалы
Как часто фактический результат попадает в ожидаемый диапазон и насколько этот диапазон полезен.
Результат по сегментам
Отдельная проверка категорий, территорий и групп клиентов, а не только общего итога.
Прогноз не доказывает эффект рекомендации
Вероятность заказа и дополнительный результат от звонка или предложения — разные оценки. Для второго нужны данные о действиях и корректно организованный пилот.
СЛЕДУЮЩИЙ ШАГ
Подготовить пилот →Начните с ваших данных.
Выберите одну задачу и проверьте подход в пилоте.