[7주차 (4)] Generative Models - 1

1. Generative Model

- 강아지 이미지가 주어진 상황에서 우리는 무엇을 할 수 있을까? -> 강아지를 샘플링하여 분류 모델을 만듦

-Generation : 그것만이 아님, 학습결과를 기반으로 강아지와 같은, train 데이터에 존재하지 않는 강아지 이미지를 만들어낼 수도 있음

-density estimation: 즉 하나의 이미지가 주어지면 확률값으로 강아지다 아니다를 구분할 수 있는 모델

-generative model은 단순이 어떤 문장이나 이미지를 만들어내는 것 뿐만 아니라, 어떠한 데이터값이 주어졌을 때 강아지인지 아닌지 구분할 수 있는 것까지 포함되는 범위이다.

 

-Generative model의 두 가지 분류

-explicit model, 즉 어떠한 데이터를 주었을 때 정답값에 대한 확률값을 얻어낼 수 있는 모델

-implicit model, 단순히 생성만 가능한 모델
 

-Unsupervised representation learning : 강아지의 특성들을 추출해내서 feature learning

 

 

 

 

2. Basic Discrete Distribution

-Bernuolli distribution: coinflip, 0또는 1이 나오는 문제 분

-Categorical distribution 

 

 

 ex) Modeling an RGB joint distribution (of a single pixel)

:(r,g,b) ~ p(R,G,B)

:256**3 가지의 케이스가 존재한다

:이를 표현하기 위해서는 (256**3-1)개의 파라미터가 필요하다, 나머지 하나의 파라미터는 이전의 모든 값을 더해서 1에서 빼주면 도출이 되기 때문에 굳이 파라미터 하나를 낭비하지 않는다.

 

: 기계학습에서는 파라미터가 많아지면 많아질 수록 학습이 어렵다

: 파라미터를 따라서 줄이고 싶음 -> n개를 fully 사용하지 말고, n개의 pixel들이 독립적이라고 가정한다면, 역시나 가능한 possible state는 2^n과 같음

 

:즉, 딜레마가 생기게 된다

:fully dependant하게 되면 표현력이 뛰어나지지만 학습이 너무 어려워지고, independant하게 하면 파라미터는 많이 줄어드나 표현력이 떨어짐

 

 

 

3.Conditional Independance

 

(1) Chain rule

-어떠한 조건도 없이, joint distribution을 conditional로 표현해주는 공식

-파라미터는 fully dependant 모델과 같은 수를 가짐, 왜냐하면 아무것도 달라진 것 없음, 그저 fully dependant한 joint distribution을 이용해서 conditional의 형태로 만들어버린 것일 뿐이다

(2) Markov 모델

-즉 i+1번째 모델은 i번째 모델에'만' dependant하다고 생각 -> Markov assumption

-이는 아래와 같이 정리가 된다

-여기에서는 2n-1개의 파라미터가 필요하게 된다

-chain rule에 비해서 파라미터를 exponential reduction을 할 수 있음

-이는 auto-regressive model이라고 함, conditional independence를 잘 활용하는

 

 

4. Auto-regressive Model

- 이제 확률분포를 만들어보자

- joint distribution을 chain rule을 가지고 conditional distribution으로 쪼개어서 활용해보겠다는 Auto-regressive Model을 사용할 예정

-p(x)를 어떻게, 어떤 파라미터를 가지고 표현해낼 것인가? -> chain ruel, Auto-regressive model

 

**정리하고 넘어가자

-Auto-regressive model은 현재의 정보가 과거의 정보에 종속적인 모델을 의미한다. (과거의 수는 중요하지 않음, 전반적으로 부름)

-Ordering, 즉 데이터를 순서를 매기는 것이 중요하기 때문에, 우리는 모든 전수의 random variable에 있어서 ordering이 필요하다 (1차원 줄서기)

-어떻게 순서를 매기느냐, 그리고 얼만큼의 과거를 고려하느냐에 따라서 성능도 달라지고, 적용되는 방법론도 달라진다.

-즉, dependancy를 어떻게 주는지, 같은 말로 어떤식으로  conditional independance를 주는지에 따라 모델의 스트럭쳐가 달라지게 된다.

 

 

 

 

 

 

 

 

 

본 포스트의 학습 내용은 부스트클래스 <AI 엔지니어 기초 다지기 : 부스트캠프 AI Tech 준비과정> 강의 내용을 바탕으로 작성되었습니다.