Векторное пространство

Все курсы > Линейная алгебра > Занятие 2

Продолжим работать в том же ноутбуке⧉

Определение

С понятием вектора тесно связано понятие векторного или линейного пространства (vector space, linear space).

По большому счету, векторное пространство — это множество векторов, которые мы можем складывать (vector addition) и умножать на число или скаляр (scalar multiplication).

В частности, сложение и умножение на число двумерных (состоящих из двух компонентов) векторов дает нам двумерный вектор, трехмерных — трехмерный и так далее.

$$ \begin{bmatrix} 3 \\ 4 \end{bmatrix} + 2 \cdot \begin{bmatrix} 1 \\ 2 \end{bmatrix} = \begin{bmatrix} 5 \\ 8 \end{bmatrix} $$

При этом сложить, например, двумерный и трехмерный вектор нельзя

$$ \begin{bmatrix} 3 \\ 4 \end{bmatrix} + \begin{bmatrix} 4 \\ 3 \\ 3 \end{bmatrix} = ? $$

Также нельзя сформировать векторное пространство из двумерных векторов, лежащих только в первой четверти координатной плоскости. Хотя для таких векторов будет задана операция сложения, при умножении на отрицательный скаляр мы можем выйти за пределы первой четверти.

Поэтому говорят, что векторное пространство должно быть замкнуто относительно операций сложения и умножения на скаляр (closed under vector addition and scalar multiplication).

Двумерное пространтсво вещественных чисел принято обозначать $R^2$, трехмерное $R^3$, n-мерное — $R^n$.

Отметим, что вектор $\begin{bmatrix} 1 \\ 2 \\ 0 \end{bmatrix}$ — это вектор в $R^3$ с нулевым третьим компонентом.

Линейная комбинация векторов

Любой вектор внутри одного пространства (например, $R^2$) можно представить как линейную комбинацию конечного числа векторов (linear combination of a finite set of vectors).

$$ 2 \cdot \begin{bmatrix} 1 \\ 2 \end{bmatrix} + 3 \cdot \begin{bmatrix} 2 \\ 1 \end{bmatrix} = \begin{bmatrix} 8 \\ 7 \end{bmatrix} $$

Под линейной комбинацией, как вы видите, понимается опять же сложение векторов и их умножение на число.

Аксиомы векторных пространств

Операции в векторных пространствах должны отвечать следующим правилам:

1. $ \mathbf u + (\mathbf v + \mathbf w) = (\mathbf u + \mathbf v) + \mathbf w $
2. $ \mathbf v + \mathbf w = \mathbf w + \mathbf v $
3. Существует нулевой вектор $ \mathbf 0 \Rightarrow \mathbf 0 + \mathbf v = \mathbf v, \forall \mathbf v $
4. Для каждого $ \mathbf v $ существует $ -\mathbf v \Rightarrow \mathbf v + (-\mathbf v) $
5. $ a(b \mathbf v) = (ab) \mathbf v $
6. $ 1 \mathbf v = \mathbf v $
7. $ a(\mathbf v + \mathbf w) = a \mathbf v + a \mathbf w $
8. $ (a + b) \mathbf v = a \mathbf v + b \mathbf v $

Этим правилам могут отвечать не только векторы действительных чисел в пространстве $R^n$ (Евклидово пространство), но и, в частности, векторы функций. В этом случае речь идет о функциональных пространствах (function spaces).

Видео про абстрактные векторные пространства⧉.

Примечание. Некоторые понятия, упомянутые в видео выше, в частности, линейные преобразования (linear transformations), ядро матрицы (null space) и собственные векторы и значения (eigenvectors and eigenvalues) будут рассмотрены на более поздних занятиях.

Внутреннее произведение

Скалярное произведение (dot product) является частным случаем внутреннего произведения (inner product) для евклидового пространства.

Приведем простой пример того, почему скалярное произведение может не подойти для векторов, состоящих, например, из комплексных чисел $\mathbb C$. Ранее мы сказали, что скалярное произведение вектора самого на себя есть квадрат длины этого вектора, т.е. $\mathbf x^T \mathbf x = || \mathbf x ||^2 $, и нам бы хотелось, чтобы квадрат длины был положителен.

Для действительных векторов это условие выполняется всегда, так как мы возводим в квадрат каждый компонент (вещественное число) такого вектора. Теперь рассмотрим комплексный вектор

$$ \mathbf z = \begin{bmatrix} 1 \\ i \end{bmatrix} \in \mathbb C^2 $$

По правилам скалярного произведения квадрат его длины был бы равен

$$ \mathbf z^T \mathbf z = \begin{bmatrix} 1 & i \end{bmatrix} \begin{bmatrix} 1 \\ i \end{bmatrix} = 1 \cdot 1 + i \cdot i = 1-1 = 0 $$

Для того чтобы квадрат ненулевого вектора не был равен нулю в векторных пространствах комплексных чисел скалярное (а точнее внутреннее) произведение задано как $\overline{\mathbf z}^T \mathbf z$, где $\overline{\mathbf z}$ является комплексно сопряженным (complex conjugate) к $\mathbf z$ вектором. Тогда,

$$ \overline{\mathbf z}^T \mathbf z = \begin{bmatrix} 1 & -i \end{bmatrix} \begin{bmatrix} 1 \\ i \end{bmatrix} = 1 \cdot 1 + (-i) \cdot i = 1+1 = 2 $$

Векторное подпространство

Определение

Подпространством (subspace) векторного пространства $K$ называется множество $S$ его элементов, само являющееся векторным пространством относительно введенных в $K$ операций сложения и умножения на число.

Другими словами, чтобы $S$ было подпространством $K$ для каждого $\mathbf v, \mathbf w \in S, K$ и $a \in \mathbb{R}$ должно выполняться $\{ \mathbf v + \mathbf w, a \mathbf v \} \in S, K$.

Например, выше мы сказали, что векторы $R^2$ первой четверти координатной плоскости не могут образовывать векторное пространство, потому что мы не можем задать для них операцию умножения на число, результатом которой был бы вектор только в этой четверти.

При этом, если мы возьмем на пространстве $R^2$ подпространство всех векторов, лежащих на прямой линии и проходящих через начало координат, то такое подпространство будет отвечать аксиомам векторных пространств.

Примечание. $R^1$ нельзя назвать подпространством $R^2$, потому что у векторов $R^1$ только один компонент, а у векторов $R^2$, даже тех, которые лежат на одной линии, их два.

Пересечение подпространств

Если $S$ и $T$ — подпространства, то $S \cap T$ тоже подпространство. Возьмем $\mathbf v, \mathbf w \in S, T$. Тогда $\mathbf v + \mathbf w \in S, T$ и $a \mathbf v \in S,T$, так как $S$ и $T$ отвечают свойствам подпространств.

Ортогональные подпространства

Подпространство $S$ будет ортогонально подпространству $T$, если каждый вектор в $S$ ортогонален каждому вектору в $T$.

$$ \forall \mathbf v \in S \perp \forall \mathbf w \in T $$

Ортогональное дополнение

Если внутри некоторого пространства $K$ существует подпространство $S$, и внутри этого же пространства $K$ можно найти другое ортогональное ему подпространство $S^{\perp}$, то такое подпространство называется ортогональным дополнением (orthogonal complement) подпространства $S$.

Более формально, пусть $S$ — подпространство $K$. Тогда ортогональным дополнением $S^{\perp}$ будет множество всех векторов $\mathbf w \in K$, для которых скалярное произведение $\mathbf w \cdot \mathbf v = 0$ для любого $\mathbf v \in S$.

$$ S^{\perp} = \{ \mathbf w \in K \hspace{5pt} | \hspace{5pt} \mathbf w \cdot \mathbf v = 0, \hspace{5pt} \forall \mathbf v \in S \hspace{2pt} \} $$

Покажем, что $S^{\perp}$ также является подпространством. Возьмем два вектора $\mathbf a, \mathbf b \in S^{\perp} $. Для того чтобы $S^{\perp}$ было подпространством, нам нужно продемонстрировать замкнутость относительно сложения и умножения на скаляр.

$$ \mathbf a + \mathbf b \underset{\mathord{?}}{\in} S^{\perp} $$

$$ c \cdot \mathbf a \underset{\mathord{?}}{\in} S^{\perp} $$

Начнем со сложения. По определению ортогонального дополнения

$$ \mathbf a \cdot \mathbf v = 0, \hspace{5pt} \forall \mathbf v \in S $$

$$ \mathbf b \cdot \mathbf v = 0, \hspace{5pt} \forall \mathbf v \in S $$

Тогда,

$$ (\mathbf a + \mathbf b) \cdot \mathbf v = \mathbf a \cdot \mathbf v + \mathbf b \cdot \mathbf v = \mathbf 0 + \mathbf 0 = \mathbf 0 $$

Другими словами, мы показали, что сумма векторов принадлежащих $ S^{\perp} $ также ортогонально вектору $\mathbf v \in S$, а значит принадлежит $ S^{\perp} $, $ \mathbf a + \mathbf b \in S^{\perp} $. Перейдем к умножению на скаляр.

$$ c \cdot \mathbf a \cdot \mathbf v = c \cdot ( \mathbf a \cdot \mathbf v) = c \cdot \mathbf 0 = \mathbf 0 $$

Это доказывает, что $ c \cdot \mathbf a \in S^{\perp} $.

Таким образом, ортогональное дополнение подпространства само является векторным подпространством.

Отметим, что нулевой вектор всегда принадлежит ортогональному дополнению, поскольку при $c = 0$

$$ c \cdot \mathbf a = 0 \cdot \mathbf a = \mathbf 0 \rightarrow \mathbf 0 \in S^{\perp} $$

Обратите внимание, что нулевой вектор также присутствует в подпространстве $S$, $\mathbf 0 \in S$.

Более того, $S \cap S^{\perp} = \{ \mathbf 0 \} $. Это легко доказать. Возьмем некоторый вектор $\mathbf x$, который одновременно принадлежит $ S $ и $ S^{\perp} $, $\mathbf x \in S, S^{\perp}$.

Тогда по определению ортогонального дополнения должно выполняться $\mathbf x \cdot \mathbf x = 0 $. Такому условию отвечает только нулевой вектор.

Линейная независимость векторов

Когда один вектор можно выразить через умножение другого вектора на число говорят, что эти векторы линейно зависимы (linearly dependent). С двумя линейно независимыми (linearly independent) векторами $ \mathbf v_1, \mathbf v_2 $ такого сделать не получится.

$$ \mathbf v_2 \neq k \mathbf v_1 $$

где k — некоторое число.

Рассмотрим пример трех векторов. Чтобы эти три вектора были линейно независимы, не должно быть возможности выразить третий вектор через линейные комбинации (сложение и умножение на скаляр) первых двух.

$$ \mathbf v_3 \neq k_1 \mathbf v_1 + k_2 \mathbf v_2 $$

Если так сделать нельзя, мы попадаем в трехмерное пространство, если можно — останемся на плоскости.

Линейная оболочка

Линейная оболочка (linear span) — это множество всех возможных линейных комбинаций с помощью данного набора векторов.

Если у нас два линейно независимых (двумерных) вектора, то оболочка — $R^2$ (плоскость), если три (трехмерных) вектора, но один из них линейно зависим, то по-прежнему $R^2$.

Оболочка — это ответ на вопрос, какие векторы можно построить с помощью сложения и умножения на скаляр $n$ n-мерных векторов. Линейно зависимый вектор находится внутри оболочки, создаваемой комбинациями других линейно независимых векторов.

Базис пространства

Имея два двумерных линейно независимых вектора (например, $\begin{bmatrix} 1 \\ 2 \end{bmatrix}$ и $\begin{bmatrix} 3 \\ 1 \end{bmatrix}$), мы можем представить любой другой вектор в пространстве $ R^2 $, сложив эти два вектора и умножив их на скаляр. Такие векторы называются базисом пространства (basis of a vector space) $ R^2 $, по сути его координатами.

В целом, базисом называется такое множество линейно независимых векторов внутри векторного пространства, с помощью которых можно выразить любой другой вектор этого пространства.

Базис можно представить как некоторую систему координат, которой пользуются все векторы данного пространства.

Повторим пример с единичными векторами $\mathbf i$ и $\mathbf j$.

Приведенный выше базис называется стандартным (standard, natural basis). Это самый «экономный» или удобный способ представить все остальные векторы этого пространства.

При этом выбор такого базиса конечно условен, ничто не мешает мне перейти к другой системе координат, то есть другому базису.

Можно сказать, что координаты вектора имеют смысл только если мы знаем в какой системе координат (каком базисе) они выражены. При этом верно и то, что вектор существует в пространстве вне зависимости от системы координат или базиса.

Смена базиса

Предположим, что у нас есть два вектора исходного стандартного базиса $ \mathbf g_1 $ и $ \mathbf g_2 $ (на рисунке ниже изображены зеленым цветом). Кроме этого, у нас есть вектор $\mathbf r$ (красный). Эти векторы имеют следующие координаты

$$ \mathbf g_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}, \mathbf g_2 = \begin{bmatrix} 0 \\ 1 \end{bmatrix}, \mathbf r_g = \begin{bmatrix} 3 \\ 4 \end{bmatrix} $$

Если векторы нового базиса ортогональны (это важно), то мы можем выразить координаты вектора $\mathbf r$ в новом базисе. Новым базисом будут следующие векторы $ \mathbf b_1 $ и $ \mathbf b_2 $ (черные):

$$ \mathbf b_1 = \begin{bmatrix} 2 \\ 1 \end{bmatrix}, \mathbf b_2 = \begin{bmatrix} -2 \\ 4 \end{bmatrix} $$

Посмотрим на эти векторы на графике.

Убедимся, что векторы нового базиса $ \mathbf b_1 $ и $ \mathbf b_2 $ перпендикулярны (ортогональны).

Найдем скалярные и векторные проекции красного вектора $ \mathbf r $ на векторы $ \mathbf b_1 $ и $ \mathbf b_2 $.

Посмотрим на векторные проекции.

В сумме векторные проекции должны дать вектор $ \mathbf r_g $ в исходном базисе.

В новом же базисе вектор $ \mathbf r_b $ можно выразить, как скалярные проекции вектора $ \mathbf r $ на векторы нового базиса $ \mathbf b_1 $ и $ \mathbf b_2 $.

Другими словами,

$$ \mathbf r_b \approx \begin{bmatrix} 4,5 \\ 2,2 \end{bmatrix} $$

Ортонормированный базис

Если угол между векторами базиса равен 90 градусов, то такой базис называют ортогональным (orthogonal). Если одновременно это единичные (нормализованные) векторы, то такой базис называется ортонормированным (orthonormal).

Ортонормированный базис называют стандартным базисом пространства $R^n$.

$$ \forall \{ \mathbf q_1, …, \mathbf q_k \} \in R^n $$

$$ \mathbf q_i^T \cdot \mathbf q_j = \begin{cases} 0, i \not= j \\ 1, i=j \end{cases} $$

Хотя векторы базиса не обязательно должны быть ортогональными и иметь единичную норму, во многих случаях это удобно.

Видео про линейную оболочку⧉.

Подведем итог

Мы ввели понятие векторного пространства, подпространства, линейной комбинации векторов, понятия базиса, линейной независимости векторов и линейной оболочки.

Перейдем к изучению матриц и начнем этот путь с рассмотрения линейных преобразований.