Аппроксимация в случае недостоверности данных

Предположим теперь, что данные исходной таблицы не являются достоверными: значения обеих переменных подвержены воздействию случайных погрешностей одинакового порядка. Как воспользоваться этими данными для задачи аппроксимации? Мы рассмотрим здесь только две подобные задачи.

!

Все числа в настоящем и следующем пунктах предполагаются вещественными.

Задача. Найти координаты точки (x, y), сумма квадратов расстояний до которой от точек P_1=(x_{1},y_1),\dots, P_n=(x_n,y_n) будет минимальной.

§

Можно дать этой задаче следующее наглядное толкование: предположим, что на лист бумаги прикрепляется точечная мишень, в которую стрелок стреляет из пистолета. После стрельбы лист бумаги с пулевыми отверстиями, но со снятой мишенью, передается эксперту с требованием установить вероятное положение мишени. Предположения, в которых эта задача решается, стандартные: пистолет пристрелян и не дает сносов, а сам стрелок не страдает косоглазием.

Т

Теорема 1. Координаты искомой точки определяются средними значениями координат точек \{ P_j\}_{j=1}^n:

\overline{x}=\frac{x_1+x_2+ \dots+x_n}{n},\quad \overline{y}=\frac{y_1+y_2+ \dots+y_n}{n}\ .

§

Обозначение среднего значения числовой последовательности через \overline{\color{White}{x}} является традиционным; не следует его путать с комплексным сопряжением. Точку (\overline{x},\overline{y}) иногда называют центроидом для системы точек \{ P_j\}_{j=1}^n.

=>

Координаты точки, для которой величина

\sum_{j=1}^n m_j \left[(x-x_j)^2+(y-y_j)^2 \right] \ ,

(m_{1},\dots,m_n — положительные константы) будет минимальной:

\hat x=\frac{m_1x_1+m_2x_2+ \dots+m_nx_n}{m_1+m_2+ \dots+m_n},\quad \hat y=\frac{m_1y_1+m_2y_2+ \dots+m_ny_n}{m_1+m_2+ \dots+m_n}\ .

§

Иными словами: искомая точка совпадает с центром масс (барицентром) системы масс \{m_j\}_{j=1}^n, расположенных в точках \{P_j\}_{j=1}^n.

Задача. Найти уравнение прямой в виде

ax+by+1 =0 \ ,

сумма квадратов расстояний до которой от точек \{P_j\}_{j=1}^n будет минимальной.

Если обозначить \delta_j расстояние от P_j до некоторой прямой, то речь идет о поиске такой прямой, которая бы обеспечивала

\min (\delta_1^2+\delta_2^2+\dots + \delta_n^2) \, .

Т

Теорема 2 [3],[4]. Обозначим

u=\frac{a}{b},\ X=\left( \begin{array}{cc} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{array} \right)_{n\times 2},\ Y=\left( \begin{array}{cc} 1 & y_1 \\ 1 & y_2 \\ \vdots & \vdots \\ 1 & y_n \end{array} \right)_{n\times 2} \ ,

а \overline{x} и \overline{y}те же, что и в теореме 1. Тогда коэффициенты a_{} и b_{} искомой прямой, как правило, определяются из системы уравнений

u^2+K\,u-1 =0, \ a \overline{x} + b \overline{y} +1 =0 \ ;

здесь

K=\frac{\det(X^{\top}X)-\det(Y^{\top}Y)}{\det(X^{\top}Y)} \ .

В исключительном случае возможно решение

b=0,\ x= \overline{x} или \ a=0,\ y= \overline{y} \ .

Геометрическая интерпретация. Линейное уравнение из теоремы означает, что искомая прямая обязательно проходит через центр тяжести системы точек. Уравнение для определение тангенса угла наклона этой прямой к оси Ox_{} — квадратное, оно имеет два корня \mu_{1}, \mu_2, т.е. имеется два кандидата на решение задачи. По формулам Виета \mu_{2}=-1/\mu_1, что означает: две прямые взаимно перпендикулярны. На рисунке эти прямые показаны для случая

\begin{array}{c|cccccc} x & 0.5 & 1 & 1.5 & 2 & 2.5 & 3 \\ \hline y & 0.35 & 0.80 & 1.70 & 1.85 & 3.51 & 1.02 \end{array}

Их уравнения:

-1.59\, x +1.16\, y +1=0, \ -0.26\, x - 0.35\, y +1 =0 \ ;

они пересекаются в центре тяжести системы точек

\overline{x} =1.75, \overline{y} \approx 1.54 \ .

Сумма квадратов расстояний от данных точек до этих прямых:

2.25 и \ 8.36

соответственно. Следовательно, решением задачи является первая прямая (зеленая).

Т

Теорема 3 [Пирсон]. Пусть матрицы X и Y определены как в теореме 2. Тогда минимум суммы квадратов расстояний точек \{(x_{j},y_j)\}_{j=1}^n до прямой

ax+by+c=0

равен минимальному положительному корню \lambda_{min} уранения

\left| \begin{array}{ccc} \sum_{j=1}^n x_j^2 - \lambda & \sum_{j=1}^n x_jy_j & \sum_{j=1}^n x_j \\ \sum_{j=1}^n x_jy_j & \sum_{j=1}^n y_j^2 - \lambda & \sum_{j=1}^n y_j \\ \sum_{j=1}^n x_j & \sum_{j=1}^n y_j & n \end{array} \right|=0 \, .

Коэффициенты a, b и c уравнения искомой прямой определяются из системы уравнений

\left( \begin{array}{ccc} \sum_{j=1}^n x_j^2 - \lambda_{\min} & \sum_{j=1}^n x_jy_j & \sum_{j=1}^n x_j \\ \sum_{j=1}^n x_jy_j & \sum_{j=1}^n y_j^2 - \lambda_{\min} & \sum_{j=1}^n y_j \end{array} \right) \left( \begin{array}{c} a \\ b \\ c \end{array} \right)= \left( \begin{array}{c} 0 \\ 0 \\ 0 \end{array} \right) \, .

П

Пример [Пирсон]. Построить прямую из теоремы 3 для точек

\begin{array}{c|cccccccccc} x & 0.0 & 0.9 & 1.8 & 2.6 & 3.3 & 4.4 & 5.2 & 6.1 & 6.5 & 7.4 \\ \hline y & 5.9 & 5.4 & 4.4 & 4.6 & 3.5 & 3.7 & 2.8 & 2.8 & 2.4 & 1.5 \end{array}

Решение. Здесь n=10 и

\sum_{j=1}^{10} x_j= 38.2,\ \sum_{j=1}^{10} y_j= 37.0 \quad \Rightarrow \quad \overline x =3.82, \overline y = 3.70 \, .

Далее,

\sum_{j=1}^{10} x_j^2= 202.32,\ \sum_{j=1}^{10} y_j^2= 154.12, \ \sum_{j=1}^{10} x_jy_j =110.91 \, .

Вычисляем определитель

\left| \begin{array}{ccc} 202.32 -\lambda & 110.91 & 202.32 \\ 110.91 & 154.12 - \lambda & 37.0 \\ 202.32 & 37.0 & 10 \end{array} \right|\equiv 10\lambda^2-736.16\lambda+451.5422 \, .

Корни полинома:

\lambda_1 \approx 0.618573,\ \lambda_2 \approx 72.997427 \, .

Следовательно, минимальное значение суммы квадратов расстояний от заданных точек до наилучшей прямой равна \lambda_1 Подставляем это значение в систему линейных уравнений относительно a, b, c. Она имеет бесконечное множество решений, из которого мы выберем, например,

a\approx -0.094322,\ b \approx -0.172889,\ c=1 \, .

Уравнение прямой совпадает с решением Пирсона, но вот значение для минимума у него приведено другое: 0.2484. Прямая проверка подтверждает значение \lambda_1.

П

Пример [Гальтон]. В каждой семье, имеющей взрослых детей, замерим рост родителей и рост взрослых детей. Именно это проделал Ф.Гальтон во последней четверти XIX века. Результаты его измерений по 205 семьям и n= 898 детям можно найти ЗДЕСЬ. Целью исследования было установление зависимости между усредненным ростом обоих родителей и ростом их детей. Если изобразить полученные данные в виде точек \{(x_j,y_j)\}_{j=1}^n плоскости, то получим следующую картину:

Здесь размеры указаны в дюймах (1 дюйм \approx 2.54 см), а усредненный рост родителей вычисляется по формуле

\frac{1}{2}(рост отца+ 1.08 \timesрост матери) \, .

Здесь \overline{x}\approx 69.22, \overline{y}\approx 66.76.

Уравнение

898\lambda^2-13002110\lambda+27405100000=0

имеет два положительных корня

\lambda_{min}\approx 2560.575, \quad \lambda_{max}\approx 11918.389 \, .

Уравнение прямой, обеспечивающей минимум сумме квадратов расстояний от точек:

y \approx 4.71\, x-259.40 \, ,

=>

В случае, когда координаты точек \{(x_{j},y_j)\}_{j=1}^n центрированы к началу координат, т.е. \sum_{j=1}^n x_j = \sum_{j=1}^n y_j =0, то обе прямые из теоремы 3 проходят через начало координат ( c=0), числа \lambda_{min} и \lambda_{max} являются корнями характеристического полинома матрицы

G=\left( \begin{array}{cc} X^{\top} X & X^{\top} Y \\ X^{\top} Y & Y^{\top} Y \end{array} \right) \quad npu \quad X^{\top}=[x_1,x_2,\dots,x_n], \ Y^{\top}=[y_1,y_2,\dots,y_n] \, .

Собственный вектор этой матрицы, соответствующий числу \lambda_{max} будет направляющим вектором прямой, обеспечивающей минимум сумме квадратов.

§

По аналогии хочется утверждать, что собственный вектор, соответствующий числу \lambda_{min} будет направляющим вектором прямой, обеспечивающей максимум сумме квадратов. Однако, это утверждение неверно. Оно будет верно, если мы добавим условие »…среди всех прямых, проходящих через начало координат».

§

Матрица G, составленная для произвольных векторов \{X,Y\} \subset \mathbb R^n, известна как матрица Грама этих векторов. Но более интересна другая ее интерпретация — статистическая. Матрица

\frac{1}{n} \left( \begin{array}{cc} X^{\top} X & X^{\top} Y \\ X^{\top} Y & Y^{\top} Y \end{array} \right) \, ,

составленная для векторов \{X,Y\} \subset \mathbb R^n, каждый из которых имеет нулевое среднее значение, называется ковариационной матрицей этих векторов.


2017/09/07 15:21 редактировал au