Notice
Recent Posts
Recent Comments
Link
«   2025/05   »
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31
Tags
more
Archives
Today
Total
관리 메뉴

archive

2. Linear Algebra (3) 본문

Mathematics/Mathematics for Machine Learning

2. Linear Algebra (3)

안정민 2025. 4. 14. 12:47

2.6 Basis and Rank

벡터 공간 V에서 우리는 벡터들의 특정한 집합 A를 찾고자 한다

이 벡터 집합은 V의 모든 벡터를 선형 결합으로 표현할 수 있는 성질을 가진다

이에 대해 자세히 알아보도록 하자

 

2.6.1 Generating Set and Basis

💡 생성집합과 스팬 Generating Set and Span


벡터 공간 V 안의 벡터들의 집합인 A = {x1, x2, ..., xk} 가 있다고 하자
모든 벡터 x1,…,xk 의 선형 결합(linear combination)으로 표현될 수 있다면,
이 집합 A는 V의 생성집합 (generating set) 이라고 부른다

나아가 생성집합 A의 모든 선형 결합의 집합을 A의 스팬 (span)이라고 한다

즉 V = span[A]

또는

V =
span(x1,,xk) 이 성립한다

 

생성집합은, 벡터 공간을 '만들어내는' 벡터들의 집합으로,

생성집합 내의 벡터들을 선형결합하여 (조합하여) 공간 내의 모든 벡터를 만들 수 있다

 

생성집합은 벡터들의 원천 집합이며 ex) {(1,0),(0,1)}, 재료 -> 밀가루, 물, 소금

스팬은 생성집합 내의 원천 벡터들로 만든 모든 벡터들의 집합이다 ex)

 

💡 기저 Basis

벡터공간 V 에서 A가 V의 부분집합이라고 하자
A가 V의 생성집합이고, V를 생성하는 더 작은 집합이 존재하지 않는다면, 

즉, 최소 생성 집합 (minimal generating set) 이라면, A를 V의 기저 (basis) 라고 한다

 

기저는 벡터 공간을 생성할 수 있는 '최소한의 벡터 집합' 이다

즉, 이 벡터들을 이용해서 공간의 모든 벡터를 만들 수 있고, 이 중 어떤 것도 제거하면 그것이 불가능해진다.

 

벡터공간 V가 있고, 그 부분집합 B, B≠∅ 라고 하자

다음 표현들은 모두 동치 (equivalent) 이다

  • B는 V의 basis이다
  • B는 V의 최소 생성 집합이다
  • B는 V에서의 최대 선형 독립 집합이다 (maximal linearly independent set)
    -> 여기에 어떤 벡터를 추가하면 선형 독립성이 깨진다
  • V의 모든 벡터 xV 는 B의 벡터들의 선형 결합으로 표현될 수 있으며, 이 표현은 유일하다

 

기저는 단순히 생성만 하는 것이 아니라, 중복 없이 유일하게 표현 가능하도록 한다

이 말은, 어떤 벡터도 여러 방식으로 표현되는 것이 아니라, 오직 하나의 방법으로만 표현된다는 뜻이다

 

기저의 또 다른 정의는 "선형 독립이면서, 이 집합이 벡터 공간 전체를 생성해야 한다" 라는 것이다.

 

[예]

ℝ^3의 표준 기저 (standard basis) 는 다음과 같다

그리고 또 다른 기저들이 존재할 수 있다

ℝ^4의 집합 중 하나인 다음 A 집합은 선형 독립이지만, 생성집합이 아니며 (즉 기저가 아니며) ℝ^4의 기저가 아니다

예를 들어 [1,0,0,0]T 벡터는 A 안의 벡터들의 선형결합으로 만들어낼 수 없다

 

 

여기서 알 수 있는 점은,

모든 벡터 공간 V는 기저 B를 가지며,

하나의 벡터 공간 V는 여러 개의 기저를 가질 수 있다 -> 즉, 기저는 유일하지 않다

하지만 모든 기저는 같은 수의 벡터를 가진다. -> 이것이 바로 차원 (dimention)이라는 개념이다

차원이란 기저 벡터의 수를 이야기한다 ex) ℝ^3 -> 차원이 3 -> 어떤 기저를 선택하여도 항상 3개의 벡터로 구성

 

기저가 되기 위한 두 조건을 정리하면 다음과 같다

  • 선형 독립 (linearly independent)
  • 벡터 공간 전체를 생성 (span) 해야함

 

기저를 찾는 방법은 다음과 같다

  • 벡터들을 열로 쌓아서 행렬을 만든다
  • 가우스 소거법을 활용하여 행사다리꼴 (REF) 을 만들고
  • 피벗 열에 해당하는 원래 벡터들을 고르면 그것이 기저이다

 

[예] 어떤 벡터 부분공간 U ⊆ ℝ^5 가 다음 벡터들에 의해 생성된다고 하자:

다음 벡터 중 어떤 벡터가 부분공간 U의 기저가 될 수 있는지 알고 싶다

이를 행렬 방정식 형태로 정리하면 다음과 같고,

이제 이를 기본 변환 규칙을 활용하여 REF 꼴로 변환하면 다음과 같다

최종 행렬 중 pivot 이 위치한 열은 1,2,4 번째 열 -> 즉 x1, x2, x4가 선형 독립이라는 뜻

반대로 x3의 경우 다른 벡터로 표현이 가능하다는 뜻이므로 종속 (linearly dependent) 이다

 

결론은 {x1, x2, x4} 는 U의 기저이다.

 

 

 

2.6.2 Rank

행렬 A ∈ ℝ^m×n 선형 독립인 열의 수는 선형 독립인 행의 수와 같으며,

이를 랭크(rank) 라고 부르고 rk(A)로 표기한다.

 

 

 

랭크의 쓰임은 다음과 같다

 

  • 의 해 존재 여부 판단
  • 행렬이 가역(invertible)한지 확인
  • 기저 및 차원 계산
  • 이미지(이미 만들어낼 수 있는 벡터) vs 커널(0으로 보내지는 벡터)

 

 

2.7 Linear Mappings

우리는 이제 벡터 공간 위의 사상 중 '구조' 를 보존하는 사상에 대해 공부할 것

이런 사상을 통해 우리는 '좌표' 라는 개념을 정의할 수 있게 된다

 

**사상 : (함수와 동의어임) 한 집합의 원소를 다른 집합의 원소로 연결해주는 규칙

** Φ:V→W 는 벡터공간 V의 원소를 벡터공간 W로 보내는 함수라는 뜻

** 이러한 사상 중에서도 벡터의 구조 (덧셈과 스칼라곱) 을 보존하는 사상이 선형 사상

** 보존? -> 사상을 적용하기 전후의 연산결과가 같아야 한다는 뜻

💡 선형 사상 Linear Mapping

벡터 공간 V, W 에 사상 Φ : V W 가 다음 조건을 만족하면 선형 사상이라고 부른다

(1) Φ(x+y)=Φ(x)+Φ(y)
두 벡터 , y를 더한 다음에 사상해도 되고,
각각을 사상한 후에 더해도 같다.

(2) Φ(λx)=λΦ(x)
벡터 x에 먼저 스칼라 λ를 곱하고 사상해도 되고,
사상한 후에 스칼라를 곱해도 같다.


-> 선형 사상은 벡터의 덧셈과 스칼라곱 연산 구조를 보존하는 사상이다

 

우리는 선형 사상을 '행렬' 로 표현이 가능하다

행렬은 벡터들을 열로 모아 표현이 가능 -> 행렬은 선형사상의 역할을 하거나 벡터들의 집합을 나타낸다

 

행렬은 선형 사상을 계산 가능한 형태로 표현한 것이다

선형사상 == 추상적인 개념이라면

행렬 == 구체적인 계산 가능한 형태

 

선형 사상. Φ. : R^n R^m

어떤 n 차원 벡터를 받아서 m 차원 벡터로 보내는 선형적인 규칙

이걸 행렬로 표현하면

Φ(x)=Ax (A는 m*n 크기의 행렬, x는 n*1 열벡터)

이렇게되면 결과값은 m*1  열벡터가 되므로, 즉, 행렬 A가 선형사상을 표현

 

벡터공간 사이의 선형 사상은 추상적으로 정의된다

그런데 basis를 고르면, 선형 사상을 행렬곱으로 바꾸어서 표현할 수 있으며,

이때 행렬이 바로 그 선형사상의 표현자가 되는 것!

 

ex) 

 

 

 

💡 단사, 전사, 전단사 injective, surjective, bijective

단사 : 서로 다른 원소는 서로 다른 값으로 대응됨 (정보 손실 없음)
x,yV : Φ(x) = Φ(y) x = y
즉 선형사상한 값이 같으면, x와 y는 같은 값이다
즉, 정의역에 모든 값은 서로 다른 치역 값에 할당

전사 :의 모든 원소가 적어도 하나의 V 원소로부터 도달 가능
Φ(V)=W
즉 결과값에 여러 개의 입력값이 대응될 수 있음
정의역의 모든 값에서 화살표가 나가야 함

전단사 : 단사이면서 전사인 경우 (일대일 대응)
정의역의 모든 값에서 화살표가 나가는데 그 화살표는 겹치지 않게 서로 다른 치역 값에 할당됨
치역에 아무 화살표를 받지 못 하는 값이 있을 수 있음 그건 상관없음
일대일 대응이 되는 것이 중요한 것임

 

**선형사상의 특수한 경우들

(1) 동형 사상 (Isomorphism)

Φ:VW 선형이며 전단사인 경우

즉, 두 벡터공간이 구조적으로 동일함

그러니까 두 벡터공간이 형태는 다를 수 있어도 계산의 결과가 동일하고 전단사임

 

(2) 자기사상 (Endomorphism)

Φ:VV 선형

즉, 자기자신에 대한 선형 사상

 

(3) 자동사상 (Automorphism)

Φ:VV 선형이며 전단사

즉, 자기 자신에 대한 동형사상

 

(4) 항등 사상 (Identity mapping)

idV:VV,xx

즉, 벡터를 그대로 대응시키는 사상

 

 

 

 

 

 

 

'Mathematics > Mathematics for Machine Learning' 카테고리의 다른 글

2. Linear Algebra (2)  (0) 2025.03.18
2. Linear Algebra (1)  (0) 2025.03.11
1. Introduction and Motivation  (0) 2025.03.10