Регрессия Деминга

В статистике регрессия Деминга, названная именем У. К. Деминга, — это вид регрессии с ошибками в переменных^[англ.], которая пытается найти прямую наилучшего сглаживания для двумерного набора данных. Регрессия отличается от простой линейной регрессии^[англ.] в том, что она принимает во внимание ошибки^[англ.] в наблюдении как по оси x, так и по оси y. Регрессия является частным случаем метода наименьших полных квадратов, которая рассматривает любое число показателей и имеет более сложную структуру ошибок.

Двумерный случай метода наименьших полных квадратов (регрессия Деминга). Красные отрезки показывают ошибку как по x, так и по y, что отличается от традиционного метода наименьших квадратов, в котором ошибка измеряется только по оси y. Показан случай, когда отклонение измеряется перпендикулярно, что происходит, когда x и y имеют равные дисперсии.

Регрессия Деминга эквивалентна оценке максимального правдоподобия на модели с ошибками в переменных^[англ.], в которой ошибки двух переменных считаются независимыми и имеют нормальное распределение, а отношение их дисперсий, δ, известно ^[1]. На практике это отношение может быть оценено из исходных данных. Однако процедура регрессии не принимает во внимание возможные ошибки в оценке отношений дисперсии.

Регрессия Деминга лишь слегка сложнее простой линейной регрессии^[англ.]. Большинство статистических пакетов, используемых в клинической химии, предоставляют регрессию Деминга.

Модель первоначально была предложена Адкоком^[2], который рассматривал случай δ = 1, а затем рассматривалась в более общем виде Куммеллем ^[3] с произвольным δ. Однако их идеи оставались большей частью незамеченными более 50 лет, пока их не возродил Купманс^[4] и позднее распространил Деминг^[5]. Книга последнего стала столь популярной в клинической химии и связанных областях, что метод в этих областях получил название регрессия Деминга^[6].

Спецификация

Предположим, что данные (y_i, x_i) являются значениями, полученными в ходе измерений "истинных" значений (y_i*, x_i*), которые лежат на регрессионной прямой:

${\displaystyle {\begin{aligned}y_{i}&=y_{i}^{*}+\varepsilon _{i},\\x_{i}&=x_{i}^{*}+\eta _{i},\end{aligned}}}$

где ошибки ε и η независимы и отношение их дисперсий, известно:

${\displaystyle \delta ={\frac {\sigma _{\varepsilon }^{2}}{\sigma _{\eta }^{2}}}.}$

На практике дисперсии параметров ${\displaystyle x}$ и ${\displaystyle y}$ часто неизвестны, что усложняет оценку ${\displaystyle \delta }$. Заметим, что когда метод измерения ${\displaystyle x}$ и ${\displaystyle y}$ тот же самый, эти дисперсии, скорее всего, равны, так что в этом случае ${\displaystyle \delta =1}$.

Мы пытаемся найти прямую "наилучшего сглаживания"

${\displaystyle y^{*}=\beta _{0}+\beta _{1}x^{*},}$

такую, что взвешенная сумма квадратов остатков минимальна ^[7]

${\displaystyle SSR=\sum _{i=1}^{n}{\bigg (}{\frac {\varepsilon _{i}^{2}}{\sigma _{\varepsilon }^{2}}}+{\frac {\eta _{i}^{2}}{\sigma _{\eta }^{2}}}{\bigg )}={\frac {1}{\sigma _{\varepsilon }^{2}}}\sum _{i=1}^{n}{\Big (}(y_{i}-\beta _{0}-\beta _{1}x_{i}^{*})^{2}+\delta (x_{i}-x_{i}^{*})^{2}{\Big )}\ \to \ \min _{\beta _{0},\beta _{1},x_{1}^{*},\ldots ,x_{n}^{*}}SSR}$

Решение

Решение может быть выражено в терминах моментов второго порядка. То есть мы сначала вычисляем следующие величины (все суммы берутся по i = 1 : n):

${\displaystyle {\begin{aligned}&{\overline {x}}={\frac {1}{n}}\sum x_{i},\quad {\overline {y}}={\frac {1}{n}}\sum y_{i},\\&s_{xx}={\tfrac {1}{n}}\sum (x_{i}-{\overline {x}})^{2},\\&s_{xy}={\tfrac {1}{n}}\sum (x_{i}-{\overline {x}})(y_{i}-{\overline {y}}),\\&s_{yy}={\tfrac {1}{n}}\sum (y_{i}-{\overline {y}})^{2}.\end{aligned}}}$

Наконец, параметры оценки методом наименьших квадратов будут^[8]:

${\displaystyle {\begin{aligned}&{\hat {\beta }}_{1}={\frac {s_{yy}-\delta s_{xx}+{\sqrt {(s_{yy}-\delta s_{xx})^{2}+4\delta s_{xy}^{2}}}}{2s_{xy}}},\\&{\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}{\overline {x}},\\&{\hat {x}}_{i}^{*}=x_{i}+{\frac {{\hat {\beta }}_{1}}{{\hat {\beta }}_{1}^{2}+\delta }}(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}).\end{aligned}}}$

Ортогональная регрессия

В случае равенства дисперсий ошибок, т.е. в случае ${\displaystyle \delta =1}$, регрессия Деминга становится ортогональной регрессией — она минимизирует сумму квадратов расстояний от точек выборки до регрессионной прямой^[англ.]*. В этом случае обозначим каждую точку выборки z_j на комплексной плоскости (т.е. точка (x_j, y_j) выборки записывается как z_j = x_j + iy_j, где i — мнимая единица). Обозначим через Z сумму квадратов разностей от точек выборки до центра тяжести (также представленного в комплексных координатах). Центр тяжести — это среднее точек выборки. Тогда^[9]:

• Если Z = 0, то любая прямая, проходящая через центр тяжести, является прямой наилучшего ортогонального сглаживания.
• Если Z ≠ 0, прямая наилучшего ортогонального сглаживания проходит через центр тяжести и параллельна вектору из начала координат в ${\displaystyle {\sqrt {Z}}}$.

Тригонометрическую интерпретацию прямой наилучшего ортогонального сглаживания дал Кулидж в 1913^[10].

Приложения

В случае трёх неколлинеарных точек на плоскости треугольник, образованный этими точками, имеет единственный вписанный эллипс Штейнера, который касается сторон треугольника в средних точках. Главная ось этого эллипса будет ортогональной регрессией этих трёх вершин^[11].