[Linear Algebra] 1. Vector spaces

1. Field and Space

1-1. Field

다음 조건을 만족하는 집합 $K$를 field라고 정의한다.

1. $x, y \in K$에 대해, $x + y \in K$이며 $xy \in K$이다.
   즉, 덧셈과 곱셈에 대해 닫혀 있다.
2. $x \in K$에 대해, $\exists (-x) \in K$ $\text{s.t.}$ $x + (-x) = 0$
   즉, 덧셈의 역원이 존재한다.
3. $x \in K$에 대해, $x \neq 0$이라면 $\exists x^{-1} \in K$ $\text{s.t.}$ $x \cdot x^{-1} = 1$
   즉, 0이 아닌 원소에 대해 곱셈의 역원이 존재한다.
4. $0 \in K$이며 $1 \in K$이다.

예를 들어, 실수 전체의 집합 $\mathbb{R}$은 당연히 field이다. 그러나 정수 전체의 집합 $\mathbb{Z}$는 field가 아니다. 예를 들어, 2의 곱셈에 대한 역원이 존재하지 않기 때문이다.

1-2. Subfield

다음 조건을 만족하면, $K$는 $L$의 subfield라고 한다.

1. $K$, $L$은 field이다.
2. $K \subset L$이다.

1-3. Vector space over $K$

Field $K$의 원소들을 원소로 가지는 벡터 $v$를 모아둔 집합 $V$는, 덧셈과 곱셈에 대해 닫혀 있으며 다음 조건을 만족시키면 vector space라고 불린다.

1. $\mathbf{u}, \mathbf{v}, \mathbf{w} \in V$에 대해,
   $(\mathbf{u} + \mathbf{v}) + \mathbf{w} = \mathbf{u} + (\mathbf{v} + \mathbf{w})$이다.
2. $\exists~\mathbb{0} \in V$ $\text{s.t.}$ $\mathbb{0} + \mathbf{v} = \mathbf{v} + \mathbb{0}$
3. $\mathbf{u} \in V$에 대해, $\exists (-\mathbf{u}) \in V$ $\text{s.t.}$ $\mathbf{u} + (-\mathbf{u}) = \mathbb{0}$
4. 교환법칙, 분배법칙이 성립함
5. $1 \cdot \mathbf{v} = \mathbf{v}$

1-4. Vector subspace

Vector space $V$에 대해, $W \subseteq V$ 이면서 다음 조건을 충족시키면 $W$는 $V$의 subspace이다.

1. $\mathbf{x}, \mathbf{y} \in W$에 대해, $\mathbf{x} + \mathbf{y} \in W$
2. $\mathbf{x} \in W$에 대해, $c\mathbf{x} \in W$
3. $\mathbb{0} \in W$

1-5. Function space

$f: S \rightarrow K$인 함수 $f$를 전부 모아둔 집합 $V$는 function space이며, vector space의 성질을 만족시킨다면 마찬가지로 vector space over $K$라 한다.

2. Basis

2-1. Background

Linear combination

v.s $V$ over $K$의 원소 $v_1, v_2, \dots, v_n$과 $K$의 원소 $x_1, x_2, \dots, x_n$에 대해,

\[x_1v_1 + x_2v_2 + \dots + x_nv_n\]

과 같은 형태를 $v_1, v_2, \dots, v_n$ linear combination이라 부른다. 이때 $v_1, v_2, \dots, v_n$의 모든 linear combination은 $V$의 subspace인 $W$를 형성한다. 이때,

$v_1, v_2, \dots, v_n$ generate / span $W$

라 하고,

\[\text{span}\{v_1, v_2, \dots, v_n\} = W\]

로 표기한다.

Orthogonal

v.s $V$ over $K$의 원소 $a, b$에 대해,

\[a \cdot b = 0\]

이면 두 벡터는 서로

orthogonal

하다고 한다.

이때, $V$의 subspace $U$에 대해 $W$가 $U$와 orthogonal한 벡터들의 집합이라면 $W$또한 $V$의 subspace이다.

Linear Independence

v.s $V$ over $K$의 원소 $v_1, v_2, \dots, v_n$과 $K$의 원소 $x_1, x_2, \dots, x_n$에 대해,

\[x_1v_1 + x_2v_2 + \dots + x_nv_n = \mathbb{0} \implies \forall{x_i}=0\]

이면 $v_1, v_2, \dots, v_n$들은 서로

linearly independent

하다고 한다.

2-2. Definition

$v_1, v_2, \dots, v_n \in V$에 대해, 다음 두 조건을 만족시키면 이들을 vector space $V$의 basis라 부른다.

1. $\text{span}{v_1, v_2, \dots, v_n} = W$
2. $v_1, v_2, \dots, v_n$은 서로 linearly independent함

이때, 다음과 같은 성질이 성립한다.

성질 1.
{$v_1, v_2, \dots, v_n$}를 basis로 가지는 v.s $V$에 대해, $v \in V$는 그 basis들의 linear combination으로 unique하게 표현된다.

증명은 다음과 같다.

\[x_1v_1 + x_2v_2 + \cdots + x_nv_n = y_1v_1 + y_2v_2 + \cdots + y_nv_n\]

이라 가정하자. 우변을 이항하면,

\[(x_1 - y_1)v_1 + (x_2 - y_2)v_2 + \cdots + (x_n - y_n)v_n = 0\]

이때 $v_1, v_2, \dots, v_n$은 basis이기 때문에 linearly independent하다. 따라서 정의에 의해 모든 $0<i\le n$에 대해 ${x_i-y_i=0}$이고, 따라서 $x_i=y_i$이다. $\blacksquare$

성질 2.
{$v_1, v_2, \dots, v_n$}이 $V$를 span한다고 하자.
이때 이 벡터 집합 중에서 linear independence를 유지하며 최대로 뽑을 수 있는 벡터를 {$v_1, v_2, \dots, v_r$}이라 하자. 그렇다면 {$v_1, v_2, \dots, v_r$}는 $V$의 basis다.

증명은 다음과 같다.

{$v_1, v_2, \dots, v_r$}이 linearly independent한 벡터들의 최대 집합이기 때문에, {$v_1, v_2, \dots, v_r$}과 다른 벡터 $v$가 다음 조건을 만족하며 존재한다.

\[x_1v_1 + x_2v_2 + \cdots + x_rv_r + yv = 0\]

이때 $x_1, x_2, \cdots, x_r, y$중 적어도 하나는 반드시 0이 아니다. 만약 모두 0이면 $y$가 $v_1, v_2, \dots, v_r$과 linearly independent하기 때문에 가정에 위배되기 때문이다.

마찬가지로 $y$도 0이 아닌데, 만약 $y=0$이라면 $x_1v_1 + x_2v_2 + \cdots + x_rv_r = 0$이고, 다시 정의에 의해 모든 $x_i=0$이게 된다. 이때 $y=0$이므로 $v$가 linearly independent하게 되어 가정에 위배되기 때문이다. 따라서 위 식을 다음과 같이 정리할 수 있게 된다.

\[\begin{align*} x_1v_1 + x_2v_2 + \cdots + x_rv_r + yv &= 0 \\[1ex] -yv &= x_1v_1 + x_2v_2 + \cdots + x_rv_r \\[1ex] v &= \frac{-1}{y}(x_1v_1 + x_2v_2 + \cdots + x_rv_r) \quad (\because y \neq 0) \end{align*}\]

즉 {$v_1, v_2, \dots, v_r$}을 제외한 임의의 벡터 $v$는 {$v_1, v_2, \dots, v_r$}의 linear combination으로 표현할 수 있고, 따라서 이들은 $V$의 basis이다. $\blacksquare$

3. Dimension

Vector space $V$ over $K$의 dimension은 다음과 같이 정의된다.

$V$의 basis가 { $v_1, v_2, \dots, v_r$ }일 때, $n$을 $V$의 dimension이라 하고, 다음과 같이 표기한다. \[\dim_k{V} = n\]

혹은 더 간단하게

\[\dim{V} = n\]

다시 말해, 특정 vector space $V$의 dimension은 $V$의 basis의 개수와 같다.

참고
$V = $ { $\mathbb{0}$ }이라면, $\dim{V}=0$으로 정의한다.

Dimension은 다음과 같은 성질을 만족한다.

성질 1.
{$v_1, v_2, \dots, v_m$}를 basis로 가지는 v.s $V$에 대해,
{$w_1, w_2, \dots, w_n$} $\in V (n > m)$은 linearly dependent하다.

증명은 다음과 같다.

귀류법을 사용하기 위해, {$w_1, w_2, \dots, w_n$}가 linearly independent하다고 가정하자. Basis의 정의에 의해, 다음을 만족하는 $a_i$가 존재한다.

\[w_1 = a_1v_1 + a_2v_2 + \cdots + a_mv_m\]

이때 linear independence의 정의에 의해 $w_1 \neq \mathbb{0}$이므로(영벡터는 다른 모든 벡터와 linearly dependent하다!), 적어도 하나의 $a_i$는 0이 아니다. 이로부터, 일반성을 잃지 않고 $a_1 \neq 0$이라 하자. 그렇다면 $v_1$은 다음과 같이 표현될 수 있다.

\[\begin{align*} w_1 &= a_1v_1 + a_2v_2 + \cdots + a_mv_m \\[1ex] -a_1v_1 &= -w_1 + a_2v_2 + \cdots + a_mv_m \\[1ex] v_1 &= -\frac{1}{a_1}(-w_1 + a_2v_2 + \cdots + a_mv_m) \quad (\because a_1 \neq 0) \end{align*}\]

따라서 $v_1$은 $w_1, v_2, \cdots, v_m$의 linear combination으로 표현할 수 있기에 $\text{span}${$w_1, v_2, \cdots, v_m$}$=V$다.

이제 이 과정을 반복하면, $\text{span}${$w_1, w_2, \cdots, w_m$}$=V$을 얻을 수 있다. 이때, $w_{m+1}, w_{m+2}, \cdots, w_n$은 span의 정의에 의해 {$w_1, w_2, \cdots, w_m$}의 linear combination으로 표현될 수 있다. 즉 linearly independent하지 않고, 가정에 모순이다. 따라서 {$w_1, w_2, \dots, w_n$}는 linearly dependent하다. $\blacksquare$

성질 2.
임의의 vector space $V$의 basis 원소 개수는 항상 같다.

$V$가 서로 다른 basis{$w_1, w_2, \dots, w_n$}, {$v_1, v_2, \dots, v_m$}를 가진다고 가정하자.

1. $n>m$인 경우, 성질 1에 의해 $w_{m+1}, w_{m+2}, \cdots, w_n$은 linearly dependent하다. 이는 basis의 정의에 어긋나므로 모순이다.
2. $n<m$인 경우, 성질 1에 의해 $v_{n+1}, v_{n+2}, \cdots, v_m$은 linearly dependent하다. 이는 basis의 정의에 어긋나므로 모순이다.

(1), (2)로부터 $n=m$이다. $\blacksquare$

4. Sum and Direct Sum

Vector space $V$ over $K$와 $V$의 subspace $U, W$를 가정하자. 이때 두 subspace의 sum, $U+W$는 다음을 의미한다.

모든 $\mathbf{u} \in U$, $\mathbf{w} \in W$에 대해, $\mathbf{u} + \mathbf{w}$의 집합

이때, 모든 $\mathbf{v} \in V$에 대해 $\mathbf{u} + \mathbf{w} = \mathbf{v}$를 만족하는 $\mathbf{u}, \mathbf{w}$가 unique하게 존재한다면 $V$는 $U$와 $W$의 direct sum이라 부르고, 다음과 같이 표기한다.

\[U \oplus W = V\]

정리 1.
$U + W = V$이고, $V \cap W = $ { $\mathbb{0}$ }이면 $V$는 $U$와 $W$의 direct sum이다.

$\mathbf{u} + \mathbf{w} = \mathbf{u’} + \mathbf{w’}$이라 하자. 이 식을 적절히 이항하면

\[\mathbf{u} - \mathbf{u'} = \mathbf{w'} - \mathbf{w}\]

가 된다. 이때, subspace의 정의에 의해 $\mathbf{u} - \mathbf{u’} \in U$이고 $\mathbf{w’} - \mathbf{w} \in W$이다. 이때, 가정에 의해 $V \cap W = $ { $\mathbb{0}$ }이므로 $\mathbf{u} - \mathbf{u’} = \mathbf{w’} - \mathbf{w} = \mathbb{0}$이다. 따라서 $\mathbf{u} = \mathbf{u’}$이고 $\mathbf{w} = \mathbf{w’}$이다. $\blacksquare$

정리 2.
$\dim{V} = \dim{U} + \dim{W}$

5. Direct Product

Vector space $U, W$ over $K$를 가정하자. 이때 두 v.s의 direct product, $U \times W$는 다음을 의미한다.

모든 $\mathbf{u} \in U$, $\mathbf{w} \in W$에 대해, 순서쌍 $(\mathbf{u}, \mathbf{w})$의 집합

정리 1.
$\dim{U \times W} = \dim{U} + \dim{W}$

이 증명은 위와 마찬가지이다.