УказательРазделыОбозначенияАвторО проектеПоддержать проект


§

Для понимания материалов этого раздела рекомендуется просмотреть материалы раздела ЛИНЕЙНОЕ ПРОСТРАНСТВО.


Нормированное пространство

Определения

Пусть в линейном пространстве \mathbb V_{} определена функция, которая ставит в соответствие каждому вектору X \subset \mathbb V вещественное число, называемое нормой вектора1) X_{}, и обозначаемое \| X \|; при этом функция подчиняется аксиомам:

1. если \| X \|= 0, то X=\mathbb O;

2. \| X + Y \| \le \|X \| + \|Y \| для \forall \{ X, Y \} \subset \mathbb V (неравенство треугольника);

3. \| \alpha \, X \|=|\alpha |\cdot \| X \| для \forall X \in \mathbb V и \forall \alpha \in \mathbb R если пространство вещественно и \forall \alpha \in \mathbb C если оно комплексно (однородность нормы).

Пространство \mathbb V с введенной в нем нормой называется нормированным (линейным) пространством.

Из этих аксиом вытекает следующее свойство нормы, которое часто включают в состав аксиом.

Т

Теорема. Любая норма должна быть неотрицательной функцией:

\| X \| \ge 0 \quad npu \quad \forall X\in \mathbb V \, .

Доказательство. Действительно, из аксиомы 3 вытекает, что норма нулевого вектора должна быть равна 0_{}:

\| \mathbb O \| = \| 0 \cdot \mathbb O \|= 0 \| \mathbb O \| = 0 \, .

Из аксиом 2 и 3 тогда следует:

0= \| \mathbb O \| = \| X-X \|\le \| X\| +\|-X \|= 2 \|X \| \quad npu \quad \forall X \in \mathbb V .

В широком классе вещественных пространств норма может быть введена естественным образом.

Т

Теорема. Любое евклидово пространство \mathbb E является нормированным пространством.

Действительно введем в пространстве \mathbb E норму как длину вектора:

\| X \| = \sqrt{\langle X, X \rangle } \, .

Аксиомы скалярного произведения гарантируют выполнение аксиом нормы.

Тем не менее, норму можно вводить и независимо от скалярного произведения.

§

Нормированные пространства включают в себя евклидовы пространства, но не сводятся к последним.

Примеры

В пространстве \mathbb R^n вещественных векторов-строк X=(x_1,\dots,x_n) евклидова норма определяется

\|X\|_2 = \sqrt{x_1^2+\dots+ x_n^2} \, .

Это определение можно считать частным случаем из целого класса гёльдеровых норм

\|X\|_p=\left( |x_1|^p+\dots+|x_n|^p \right)^{1/p}

при p \in \mathbb N. Эта норма называется также p-нормой или \ell_p-нормой. Она, очевидно может быть распространена и на случай комплексного пространства \mathbb C^n.

Норма \ell_1

\|X\|_1 = |x_1|+\dots+|x_n|

называется еще манхэттенской нормой.

При переходе в p-норме к пределу при p \to + \infty получаем бесконечную норму

\|X\|_{\infty}= \max_{j\in \{1,\dots,n\}} |x_j| \, .
П

Пример. Для X=(1,-2,3,4) имеем:

\|X\|_1=10,\ \|X\|_2=\sqrt{30} \approx 5.477226, \ \|X\|_3=\sqrt[3]{100} \approx 4.641588, \dots, \|X\|_{\infty}=4 \, .

Различные способы задания нормы в одном и том же линейном пространстве порождают различные формы окрестности вектора (точки) этого пространства. Для примера изобразим 1-окрестность начала координат в \mathbb R^2 (``единичный круг''):

?

А вот при 0<p<1 и n>1 формула \|X\|_p норму не задает! Почему? — Посмотрите на форму астроиды.

Т

Теорема. Любая норма является выпуклой функцией на любом выпуклом подмножестве пространства \mathbb V.

Действительно, на основании аксиом 2 и 3 для нормы выполняется неравенство Йенсена.

В пространстве \mathbb P_n полиномов с вещественными коэффициентами степеней, не превышающих n скалярное произведение может определяться как посредством скаярного произведения векторов коэффициентов, так и формулой

\langle f(x), g(x) \rangle = \int_{a}^b f(t)g(t) d\,t

при некоторых фиксированных вещественных константах a_{} и b_{}, a_{}<b. Последний случай порождает определение нормы полинома

\|f(x)\| = \left(\int_{a}^b f^2(t) d\,t \right)^{1/2} \, .

Эта последняя распространяется на бесконечномерное пространство функций, которое обозначается \mathbf L^2.

Норма матрицы

Любую матрицу A порядка m \times n с вещественными или комплексными элементами можно векторизовать, т.е. считать ее вектором из \mathbb R^{mn} или из \mathbb C^{mn}. Любая норма, введенная в этих пространствах, породит и норму в линейном пространстве матриц.

П

Пример 1. Для матрицы A\in \mathbb C^{m\times n} евклидова норма или норма Фробениуса вводится формулой:

\| A \|_F = \sqrt{\sum_{j,k} |a_{jk}|^2} \ .

С использованием операции вычисления следа матрицы, эту формулу для вещественных матриц можно переписать в виде

\| A \|_F = \sqrt{ \operatorname{Sp}_{}\, (A \cdot A^{^{\top}})}= \sqrt{ \operatorname{Sp}_{}\, (A^{^{\top}}A)} \, .

Т

Теорема. Евклидова норма вещественной матрицы не меняется при умножении этой матрицы на произвольную ортогональную.

Доказательство. Имеем:

\|A \|_F= \operatorname{Sp}_{}\, (A \cdot A^{^{\top}}) \, .

Пусть Q \in \mathbb R^{m\times m} — ортогональная матрица, тогда

\|QA \|_F= \operatorname{Sp}_{}\, (QA \cdot A^{^{\top}} Q^{^{\top}}) =

и на основании свойства следа \operatorname{Sp}(A_1 A_2)=\operatorname{Sp} (A_2 A_1) для квадратных матриц A_1 и A_2:

= \operatorname{Sp}_{}\, (A \cdot A^{^{\top}} Q^{^{\top}}Q) = \operatorname{Sp}_{}\, (A \cdot A^{^{\top}} E) = \|A \|_F

поскольку матрица Q — ортогональная. Аналогично доказывается утверждение теоремы при умножении матрицы A справа на ортогональную матрицу P \in \mathbb R^{n\times n}.

Аналоги гёльдеровых норм \| \cdot \|_1 и \| \cdot \|_{\infty} кажутся очевидными:

\sum_{j,k} |a_{jk}| \quad u \quad \max_{j,k} |a_{jk}|

соответственно. Однако по некоторым соображениям, приведенным ниже, эти аналоги вводят другими способами.

Суммируем модули элементов матрицы по столбцам и выбираем максимальное из полученных чисел:

\| A \|_1 = \max_{k\in \{1,\dots,n\}} \sum_{j=1}^m |a_{jk}| \, .

Для матрицы, состоящей из одного столбца, получим норму \| \cdot \|_1 в \mathbb C^m.

Теперь суммируем модули элементов матрицы по строкам и выбираем максимальное из полученных чисел:

\displaystyle \| A \|_{\infty} = \max_{j\in \{1,\dots,m\}} \sum_{k=1}^n |a_{jk}| \, .

Для матрицы, состоящей из одного столбца, получим норму \| \cdot \|_{\infty} в \mathbb C^m.

Для матриц имеется еще одна операция: их можно умножать. Ввести эту операцию можно разными способами, но мы ограничимся самым распространенным. При умножении матрицы на столбец:

A_{m\times n} X_{n\times 1}

получаем вектор-столбец Y_{m\times 1}. Как связаны между собой нормы матрицы A и столбцов X и Y? В каждом из этих пространств \mathbb C^{m\times n}, \mathbb C^{n} и \mathbb C^{m} нормы могут быть определены произвольным образом. Желательно их как-то согласовать. С этой целью (а также имея в виду некоторые приложения) для норм матриц вводят еще одну аксиому (в дополнение к основным аксиомам):

4. Для произвольных матриц A и B, для которых определено произведение A \cdot B, должно быть выполнено неравенство

\|A \cdot B \| \le \|A \| \cdot \| B \| \, .
П

Пример 2. Эта аксиома сразу же блокирует желание выбора в качестве кандидата нормы \max_{j,k} |a_{jk}|:

\left( \begin{array}{cc} 1 & 1 \\ 0 & 1 \end{array} \right)^2 = \left( \begin{array}{cc} 1 & 2 \\ 0 & 1 \end{array} \right) \, .

Применение аксиомы 4 к произведению матрицы на столбец приводит к следующему:

\|AX\|\le \|A \| \cdot \|X\| \quad \Rightarrow \quad \frac{\|AX\|}{\|X\|} \le \|A\| \quad npu \quad \forall X \in \mathbb C^n, X\ne \mathbb O_{n\times 1} \, .

При заданных нормах столбцов в \mathbb C^n и \mathbb C^m получили условие на норму матрицы. А теперь зададим эту норму условием минимально допустимой жёсткости

\|A\|=\max_{X\ne \mathbb O} \frac{\|AX\|}{\|X\|}

и посмотрим к чему это приведет (если приведет — достижимость \max еще нужно доказывать!). Забегая вперед, дадим определение: таким образом вводимая норма матрицы A называется матричной нормой, подчиненной векторным нормам в \mathbb C^n и \mathbb C^m (или индуцированной2) этими последними).

П

Пример 3. В пространстве \mathbb R^{3\times 2} рассмотрим норму \| \cdot \|_1. Пусть, для определенности, для ненулевой матрицы A справедливо:

\| A\|_{1}= \max (|a_{11}|+|a_{21}|+|a_{31}|, |a_{12}|+|a_{22}|+|a_{32}| )=|a_{11}|+|a_{21}|+|a_{31}| \, .

Имеем для любого ненулевого вектора (x_1,x_2) \subset \mathbb R^2:

L(x_1,x_2)=\frac{|a_{11}x_1+a_{12}x_2|+|a_{21}x_1+a_{22}x_2|+|a_{31}x_1+a_{32}x_2|}{|x_1|+ |x_2| }\le
\le \frac{|a_{11}|\cdot |x_1|+|a_{12}| \cdot |x_2|+|a_{21}|\cdot |x_1|+|a_{22}|\cdot |x_2|+|a_{31}| \cdot|x_1|+|a_{32}| \cdot |x_2|}{|x_1|+ |x_2| }=
=\frac{(|a_{11}|+|a_{21}|+|a_{31}|)|x_1|+(|a_{12}|+|a_{22}|+|a_{32}|)|x_2|}{|x_1|+ |x_2|}
\le \frac{(|a_{11}|+|a_{21}|+|a_{31}|)(|x_1|+|x_2|)}{|x_1|+ |x_2|}=|a_{11}|+|a_{21}|+|a_{31}| \, .

В то же время, при x_1 \ne 0 имеем

L(x_1,0)=|a_{11}|+|a_{21}|+|a_{31}| ,

т.е. \max L(x_1,x_2) достижим. Матричная норма \| \cdot \|_{1} является подчиненной для норм \| \cdot \|_{1}, введенных в пространствах векторов-столбцов \mathbb R^2 и \mathbb R^3.

П

Пример 4. В пространстве \mathbb R^{3\times 2} рассмотрим норму \| \cdot \|_{\infty}. Пусть, для определенности, для ненулевой матрицы A справедливо:

\| A\|_{\infty}= \max (|a_{11}|+|a_{12}|, |a_{21}|+|a_{22}|, |a_{31}|+|a_{32}| )=|a_{11}|+|a_{12}| \, .

Имеем для любого ненулевого вектора (x_1,x_2) \subset \mathbb R^2:

\frac{\max(|a_{11}x_1+a_{12}x_2|,|a_{21}x_1+a_{22}x_2|,|a_{31}x_1+a_{32}x_2|)}{\max( |x_1|, |x_2|) }\le
\le \frac{\max(|a_{11}|\cdot |x_1|+|a_{12}|\cdot |x_2|,|a_{21}|\cdot |x_1|+|a_{22}|\cdot |x_2|,|a_{31}|\cdot |x_1|+|a_{32}|\cdot| x_2|)}{\max( |x_1|, |x_2|) }\le
\le \frac{\max((|a_{11}|+|a_{12}|)\max( |x_1|, |x_2|),(|a_{21}|+|a_{22}|)\max( |x_1|, |x_2|),|a_{31}|+|a_{32}|)\max( |x_1|, |x_2|))}{\max( |x_1|, |x_2|) }\le
\le \max (|a_{11}|+|a_{12}|, |a_{21}|+|a_{22}|, |a_{31}|+|a_{32}| )=|a_{11}|+|a_{12}| \, .

С другой стороны, для \widetilde x_1=\operatorname{sign} (a_{11}), \widetilde x_2=\operatorname{sign} (a_{12}) получаем

\max ( |a_{11}\widetilde x_1+a_{12} \widetilde x_2|,|a_{21}\widetilde x_1+a_{22} \widetilde x_2|,|a_{31}\widetilde x_1+a_{32} \widetilde x_2| ) =
= \max ( |a_{11}|+|a_{12}|,|a_{21}\widetilde x_1+a_{22} \widetilde x_2|,|a_{31}\widetilde x_1+a_{32} \widetilde x_2| ) \ge |a_{11}|+|a_{12}| \, .

Из двух выведенных неравенств следует, что матричная норма \| \cdot \|_{\infty} является подчиненной для норм \| \cdot \|_{\infty}, введенных в пространствах векторов-столбцов \mathbb R^2 и \mathbb R^3.

А вот с евклидовыми нормами ситуация оказывается посложнее…

П

Пример 5. Пусть в пространствах векторов-столбцов \mathbb R^{m} и \mathbb R^{n} заданы евклидовы нормы

\| (y_1,\dots,y_m)^{\top} \|=\sqrt{y_1^2+\dots+y_m^2},\ \| (x_1,\dots,x_n)^{\top} \|=\sqrt{x_1^2+\dots+x_n^2} \, .

Тогда

\|AX\|_{2} = \sqrt{X^{^{\top}}A^{^{\top}} A X}

и

\frac{\|AX\|_2}{\|X\|_2}=\sqrt{\frac{X^{^{\top}}A^{^{\top}} A X}{X^{^{\top}}X}} \, .

Матрица A^{^{\top}} A является симметричной и положительно полуопределенной, т.е. все ее собственные числа неотрицательны. По доказанному в ПУНКТЕ, подкоренное выражение имеет максимальное значение равное максимальному собственному числу матрицы A^{^{\top}} A. В результате, матричную спектральную норму3) \|\cdot \|_2 определяют равенством:

\|A\|_2=\sigma_{\max}

где \sigma_{\max} означает максимальное сингулярное число матрицы A.

Для матрицы A, состоящей из одного столбца A=(a_1,\dots,a_m)^{^{\top}}, матрица A^{^{\top}} A =a_1^2+\dots+a_m^2. Следовательно,

\sigma_{\max} =\sqrt{a_1^2+\dots+a_m^2} \ ,

и спектральная матричная норма совпадает с евклидовой нормой в \mathbb R^m.

Таким образом, спектральная матричная норма \| \cdot \|_2 оказывается подчиненной евклидовой векторной норме \| \cdot \|_2.

В терминах сингулярных чисел матрицы A норму Фробениуса \| A \|_{F} из примера 1 можно записать в виде

\| A \|_{F}= \sqrt{\sum_{j} \sigma_j^2} \ ,

где суммирование идет по квадратам всех сингулярных чисел матрицы A. Из этого замечания следуют очевидные неравенствв:

\| A \|_2 \le \| A \|_{F} \le \sqrt{\mathfrak r} \| A \|_2 \quad npu \ \forall A,\ \operatorname{rank} A = \mathfrak r \, .
?

Доказать, что равенство в левом неравенстве достигается тогда и только тогда когда \mathfrak r \le 1.

П

Пример 6. Для

A= \left(\begin{array}{rr} 3 & -2 \\ 1 & 1 \\ -5 & 1 \end{array} \right)

имеем

\|A\|_F= \sqrt{9+4+1+1+25+1}=\sqrt{41} \approx 6.4031,
\|A\|_1 = \max \{3+1+5, 4+1+1\} = 9, \ \|A\|_{\infty} = \max \{3+2, 1+1, 5+1\}=6

Для нахождения \|A\|_2 вычисляем

A^{^{\top}} A = \left( \begin{array}{rr} 35 & -10 \\ -10 & 6 \end{array} \right) \, .

Характеристический полином \det (A^{^{\top}} A-\lambda E) \equiv \lambda^2-41\, \lambda+ 110 имеет корни

\lambda_1=\frac{41+\sqrt{1241}}{2}, \lambda_2=\frac{41-\sqrt{1241}}{2}

и \|A\|_2 =\sqrt{\lambda_1} \approx 6.173647.

§

С вычислительной точки зрения спектральная норма \| \cdot \|_2 наиболее «дорогая»: она требует вычисления собственного числа матрицы. К счастью, как правило, можно организовать это вычисление без промежуточного вычисления характеристического полинома. В самом деле, для приближенного вычисления максимального собственного числа положительно полуопределенной симметричной матрицы A^{^{\top}} A можно воспользоваться методом степенных итераций.

?

Верно ли равенство \|A^{-1}\|= \|A\|^{-1} для квадратной невырожденной матрицы A?

Источники

Гантмахер Ф.Р. Теория матриц. 4-е изд. М.Наука. 1988.

1) (англ.) norm
2) (англ.) Matrix norm induced by a vector norm
3) (англ.) spectral norm

2020/01/10 18:43 редактировал au