Оценка точности прогнозирования, сравнение моделей

Когда прогнозные расчеты уже произведены, необходимо проверить точность прогнозов. Существует абсолютная и относительная верификация значений. Абсолютная верификация возможна только при сопоставлении полученных значений реальным данным прошлых периодов. Чем ближе полученные прогнозы к реальным данным, тем достовернее способ прогнозирования в данной ситуации.

Точность прогноза оценивается по величине погрешности прогноза, т.е. по разности между прогнозируемым и реальным значением исследуемой переменной. Подобную оценку возможно получить только в том случае, если прогнозируемый период уже завершился и нам известны реальные значения.

абсолютная ошибка

Среди используемых оценок ошибок прогнозирования выделяются две, которые на сегодняшний день являются наиболее популярными: MAE и MAPE. Формулы для оценок данных ошибок прогнозирования временных рядов для N отчетов можно записать в следующем виде.

2. MAPE - средняя абсолютная ошибка в процентах

Данная оценка имеет место при оценке временных рядов, реальные значения которых значительно больше 1. К примеру, оценки ошибки прогнозирования потребления энергии во многих исследованиях приводятся как значения MAPE.

В случае, когда фактические значения временного ряда близки к 0, в знаменателе оказывается очень маленькое число, что делает значение MAPE приближенным к бесконечности, а это не совсем корректно. Для таких рядов применяют оценку ошибки прогноза МАЕ.

3. MAE - средняя абсолютная ошибка

После того, как рассчитаны значения для MAPE и/или MAE, в исследованиях обычно пишут: «Прогнозирование временного ряда с часовым разрешением проводилось на интервале с 01.01.2001 до 31.12.2001 (общее количество отсчетов N ~ 8500). Для данного прогноза значение MAPE = 1.5%». При этом можно сделать обобщенный вывод об ошибке прогнозирования, для которого MAPE обычно колеблется от 1 до 5%; или об ошибке прогнозирования, для которого MAPE колеблется от 5 до 15% в зависимости от периода и рынка. Посредством МАРЕ можно сделать относительный вывод о достоверности используемого способа прогнозирования.

Кроме указанных ошибок иногда используются и другие оценки ошибки.

4. MSE - среднеквадратичная ошибка

5. RMSE - квадратный корень из среднеквадратичной ошибки

6. ME - средняя ошибка

7. SD - стандартное отклонение

, где

ME - есть средняя ошибка, определенная по формуле выше.

Точность прогнозирования является понятием прямо противоположным ошибке прогнозирования. Если ошибка прогнозирования имеет большое значение, то точность прогноза маленькая и наоборот, чем меньше ошибка прогноза, тем выше точность прогнозирования. По сути оценка ошибки прогноза MAPE - обратная величина точности прогноза -- зависимость здесь простая.

Точность прогноза определяется в %. При этом величина MAPE - количественная оценка ошибки, и эта величина нам ясно говорит и о точности прогнозирования, исходя из приведенной выше простой формулы.