정의 (2.1)
행렬-벡터 곱
행렬 A ∈ R m × n A \in \mathbb{R}^{m \times n} A ∈ R m × n x ⃗ ∈ R n \vec{x} \in \mathbb{R}^{n} x ∈ R n A x ⃗ A\vec{x} A x x ⃗ \vec{x} x A A A 3 × 2 3 \times 2 3 × 2 A A A 2 × 1 2 \times 1 2 × 1 x ⃗ \vec{x} x 3 × 1 3 \times 1 3 × 1 y ⃗ = A x ⃗ \vec{y} = A\vec{x} y = A x
[ y 1 y 2 y 3 ] \begin{bmatrix}
y_{1}\\
y_{2}\\
y_{3}\\
\end{bmatrix} y 1 y 2 y 3 [ a 11 a 12 a 21 a 22 a 31 a 32 ] \begin{bmatrix}
a_{11} & a_{12}\\
a_{21} & a_{22}\\
a_{31} & a_{32}\\
\end{bmatrix} a 11 a 21 a 31 a 12 a 22 a 32 [ x 1 x 2 ] \begin{bmatrix}
x_{1}\\
x_{2}\\
\end{bmatrix} [ x 1 x 2 ] [ x 1 a 11 + x 2 a 12 x 1 a 21 + x 2 a 22 x 1 a 31 + x 2 a 32 ] ≡ \begin{bmatrix}
x_{1}a_{11} + x_{2}a_{12}\\
x_{1}a_{21} + x_{2}a_{22}\\
x_{1}a_{31} + x_{2}a_{32}\\
\end{bmatrix}\equiv x 1 a 11 + x 2 a 12 x 1 a 21 + x 2 a 22 x 1 a 31 + x 2 a 32 ≡ x 1 [ a 11 a 21 a 31 ] x_{1}\begin{bmatrix}
a_{11}\\
a_{21}\\
a_{31}\\
\end{bmatrix} x 1 a 11 a 21 a 31 x 2 [ a 12 a 22 a 32 ] x_{2}\begin{bmatrix}
a_{12}\\
a_{22}\\
a_{32}\\
\end{bmatrix} x 2 a 12 a 22 a 32
위 식에서 관찰해야 할 핵심은 ‘행 표현’과 ‘열 표현’에서 행렬-벡터 곱 A x ⃗ A\vec{x} A x A A A x ⃗ \vec{x} x y ⃗ \vec{y} y A A A x 1 x_{1} x 1 x 2 x_{2} x 2 y ⃗ \vec{y} y y ⃗ \vec{y} y A A A A A A A A A x ⃗ \vec{x} x [ 3 4 ] \begin{bmatrix}
3\\
4\\
\end{bmatrix} [ 3 4 ]
선형변환 (linear transformation)
**선형변환 (linear transformation)**은 선형대수학의 핵심 개념입니다. 이 책에서 핵심이고 주요 아이디어입니다.
행렬-벡터 곱은 선형대수학 학습의 핵심 개념 중 하나인 선형변환의 추상화에 해당합니다. 행렬 A ∈ R m × n A \in \mathbb{R}^{m \times n} A ∈ R m × n T A T_{A} T A
T A : R n → R m T_{A}: \mathbb{R}^{n} \to \mathbb{R}^{m} T A : R n → R m
행렬 A A A T A T_{A} T A x ⃗ \vec{x} x A A A x ⃗ \vec{x} x T A T_{A} T A A A A 표현된다 고 합니다.
선형대수학의 개요
함수는 입력공간(정의역)에서 출력공간(치역)으로의 변환입니다. 선현변환 T A : R n → R m T_{A}: \mathbb{R}^{n} \to \mathbb{R}^{m} T A : R n → R m
만약 함수 T T T x ⃗ \vec{x} x T T T y ⃗ = T ( x ⃗ ) \vec{y} = T(\vec{x}) y = T ( x ) A T ∈ R m × n A_{T} \in \mathbb{R}^{m \times n} A T ∈ R m × n A T x ⃗ A_{T}\vec{x} A T x T T T A T A_{T} A T 표현된다 고 합니다. 모든 행렬 A ∈ R m × n A \in \mathbb{R}^{m \times n} A ∈ R m × n T A : R n → R m T_{A}: \mathbb{R}^{n} \to \mathbb{R}^{m} T A : R n → R m
행렬과 선형변환은 동치이므로, “선형대수학은 벡터와 행렬에 대한 것이다.”라는 말은 “선형대수학은 벡터와 선형변환에 관한 것이다.”라는 말로 재해석할 수 있습니다.
벡터 연산 (2.2)
u ⃗ = ( u 1 , u 2 , u 3 ) \vec{u} = (u_{1},u_{2},u_{3}) u = ( u 1 , u 2 , u 3 ) v ⃗ = ( v 1 , v 2 , v 3 ) \vec{v} = (v_{1},v_{2},v_{3}) v = ( v 1 , v 2 , v 3 ) α ∈ R \alpha \in \mathbb{R} α ∈ R
덧셈: u ⃗ + v ⃗ ≡ ( u 1 + v 1 , u 2 + v 2 , u 3 + v 3 ) \vec{u} + \vec{v} \equiv (u_{1}+v_{1},u_{2}+v_{2},u_{3}+v_{3}) u + v ≡ ( u 1 + v 1 , u 2 + v 2 , u 3 + v 3 )
뺄셈: u ⃗ + v ⃗ ≡ ( u 1 − v 1 , u 2 − v 2 , u 3 − v 3 ) \vec{u} + \vec{v} \equiv (u_{1}-v_{1},u_{2}-v_{2},u_{3}-v_{3}) u + v ≡ ( u 1 − v 1 , u 2 − v 2 , u 3 − v 3 )
스케일링: α u ⃗ ≡ ( α u 1 , α u 2 , α u 3 ) \alpha\vec{u} \equiv (\alpha u_{1},\alpha u_{2},\alpha u_{3}) α u ≡ ( α u 1 , α u 2 , α u 3 )
내적: u ⃗ ⋅ v ⃗ ≡ u 1 v 1 + u 2 v 2 + u 3 v 3 \vec{u} \cdot \vec{v} \equiv u_{1}v_{1} + u_{2}v_{2} + u_{3}v_{3} u ⋅ v ≡ u 1 v 1 + u 2 v 2 + u 3 v 3
외적: u ⃗ × v ⃗ ≡ ( u 2 v 3 − u 3 v 2 , u 3 v 1 − u 1 v 3 , u 1 v 2 − u 2 v 1 ) \vec{u} \times \vec{v} \equiv (u_{2}v_{3} - u_{3}v_{2},u_{3}v_{1} - u_{1}v_{3},u_{1}v_{2} - u_{2}v_{1}) u × v ≡ ( u 2 v 3 − u 3 v 2 , u 3 v 1 − u 1 v 3 , u 1 v 2 − u 2 v 1 )
길이: ∣ ∣ u ⃗ ∣ ∣ = u 1 2 + u 2 2 + u 3 2 \vert\vert\vec{u}\vert\vert = \sqrt{u_{1}^2+u_{2}^2+u_{3}^2} ∣∣ u ∣∣ = u 1 2 + u 2 2 + u 3 2
행렬 연산 (2.3)
역행렬
역변환 가능한 행렬 A A A A − 1 A^{-1} A − 1 A A − 1 = I = A − 1 A AA^{-1} = I = A^{-1}A A A − 1 = I = A − 1 A v ⃗ \vec{v} v I v ⃗ = v ⃗ I\vec{v} = \vec{v} I v = v A − 1 A^{-1} A − 1 A A A
모든 행렬이 역행렬을 갖는 것은 아닙니다. 가역행렬(invertible matrix)만 역행렬을 갖습니다.
대각합 (trace)
n × n n \times n n × n
T r : R n × n → R , T r [ A ] ≡ Σ i = 1 n a i i Tr: \mathbb{R}^{n \times n} \to \mathbb{R}, Tr[A] \equiv \Sigma_{i=1}^{n}a_{ii} T r : R n × n → R , T r [ A ] ≡ Σ i = 1 n a ii
대각합의 성질은 다음과 같습니다.
Tr[α \alpha α β \beta β α \alpha α β \beta β
Tr[AB] = Tr[BA]
Tr[ABC] = Tr[CAB] = Tr[BCA] (주기성)
Tr[A T A^{T} A T
Tr[A] = Σ i = 1 n λ i \Sigma_{i=1}^{n}\lambda_{i} Σ i = 1 n λ i λ i \lambda_{i} λ i
행렬식 (determinant)
행렬식(determinant)은 행렬의 모든 계수를 포함하고 단일 숫자를 출력하는 계산입니다.
d e t : R n × n → R det : \mathbb{R}^{n \times n} \to \mathbb{R} d e t : R n × n → R
행렬식은 행렬의 행 벡터들에 의하여 결정되는 도형의 기하학적 양과 관계가 있습니다. 행렬 A의 행렬식은 A의 행에 의해 주어지는 변으로 이루어진 상자의 크기 를 알려줍니다.
예를 들어 아래 행렬의 행렬식은 다음과 같습니다.
d e t ( A ) = d e t ( [ a b c d ] ) det(A) = det(\begin{bmatrix}
a & b\\
c & d\\
\end{bmatrix}) d e t ( A ) = d e t ( [ a c b d ] ) ∣ a b c d ∣ \begin{vmatrix}
a & b\\
c & d
\end{vmatrix} a c b d a d − b c ad - bc a d − b c
ad - bc는 벡터 (a,b)와 (c,d)에 의해 형성된 평생사변형의 면적입니다. (a,b) = α \alpha α
선형성, Linearity (2.4)
선형성(linearity)이란 무엇이며 이 책 전체에서 선형성의 학습에 전념하고 있는 이유는 무엇일까요?
f ( x ) = a x + b + m x + q x 2 + c x 3 f(x) = \frac{a}{x} + b + mx + qx^{2} + cx^{3} f ( x ) = x a + b + m x + q x 2 + c x 3
mx항은 이 수식의 선형 항으로서 x의 1제곱입니다. 다른 모든 항은 비선형적 입니다. 선형항은 입력 x의 값을 변경하면 mx의 값이 비례하여 변하기 때문에 특별합니다. 비선형항에는 적용되지 않는 특징입니다.
정의
선형 함수는 입력의 선형결합을 동일한 출력의 선형결합으로 대응시킵니다. 함수 f가 임의의 두 입력 x 1 x_{1} x 1 x 2 x_{2} x 2 α \alpha α β \beta β
f ( α x 1 + β x 2 ) = α f ( x 1 ) + β f ( x 2 ) f(\alpha x_{1} + \beta x_{2}) = \alpha f(x_{1}) + \beta f(x_{2}) f ( α x 1 + β x 2 ) = α f ( x 1 ) + β f ( x 2 )
원점을 지나지 않는 직선은 선형 함수가 아니다
l ( x ) = m x + b l(x) = mx + b l ( x ) = m x + b
l ( α x 1 + β x 2 ) = m ( α x 1 + β x 2 ) + b ≠ m ( α x 1 ) + b + m ( β x 2 ) + b = α l ( x 1 ) + β l ( x 2 ) l(\alpha x_{1} + \beta x_{2}) = m(\alpha x_{1} + \beta x_{2}) + b \neq m(\alpha x_{1}) + b + m(\beta x_{2}) + b = \alpha l(x_{1}) + \beta l(x_{2}) l ( α x 1 + β x 2 ) = m ( α x 1 + β x 2 ) + b = m ( α x 1 ) + b + m ( β x 2 ) + b = α l ( x 1 ) + β l ( x 2 )
선형방정식
변수 x 1 , x 2 , x 3 x_{1}, x_{2}, x_{3} x 1 , x 2 , x 3
a 1 x 1 + a 2 x 2 + a 3 x 3 = c a_{1}x_{1} + a_{2}x_{2} + a_{3}x_{3} = c a 1 x 1 + a 2 x 2 + a 3 x 3 = c