Модели множественной линейной регрессии

Регрессионный анализ позволяет получать модели зависимости одной переменной-отклика Тот нескольких переменных-регрессоров х (j=1, … , n): Y = а₀ + a_j х₁ + а₂× х₂ + а₃ х₃ + … + а_n х_n + e,

где Y- функция, х - переменные-регрессоры (факторы), а₀, … а_n - постоянные коэффициенты (параметры), n - количество регрессоров, е - случайная ошибка.

Такая модель может быть получена и оценена подобно моделям простой регрессии. Но обычно необходимо построить регрессионную модель с минимальным и достаточным для описания поведения экономической или производственной системы набором переменных. Необходимость добиться высокого уровня детерминации определяет тенденцию к включению в состав модели большого числа переменных. Но чем больше переменных включает модель, там больше среди них взаимосвязанных и взаимозависимых. Корреляция между регрессорами снижает точность и детерминированность модели. Модель, для построения которой использованы сильно коррелированные данные, может быть вообще ошибочной.

На практике переменные далеко не всегда могут быть независимыми, поэтому далее будем по возможности избегать этого термина.

Метод пошаговой регрессии, включенный во многие статистические пакеты, позволяет из множества исходных переменных производить отбор тех переменных, которые наиболее значимы для адекватного представления исходных данных. Этот метод позволяет, во-первых, построить более простую, сокращенную модель, а, во-вторых, при последующем сборе данных не регистрировать несущественные переменные. Он может быть использован в качестве предварительного этапа перед построением нелинейной модели.

Имеются три разновидности процедуры отбора переменных, каждая из которых может давать различный конечный набор переменных.

1. Метод последовательного включения. На первом шаге в модель включается переменная, которая имеет наибольший коэффициент корреляции с зависимой переменной. На каждом очередном шаге в модель добавляется та переменная, которая имеет наибольший частный коэффициент корреляции. Процесс может прекращаться, когда те или иные статистические характеристики не могут быть улучшены включением ни одной из переменных.

2. Метод последовательного исключения состоит в удалении на очередном шаге из имеющегося набора той переменной, которая имеет наименьший частичный коэффициент корреляции. Процесс прекращается, когда удаление очередной, предназначенной для удаления переменной может ухудшить статистические характеристики модели.

3. Метод пошагового включения-исключения состоит в сочетании двух рассмотренных методов, когда на каждом шаге вычислительного процесса производится включение некоторой переменной, после чего предпринимается попытка исключения из полученного набора некоторых переменных.