archive

https://web.stanford.edu/~jurafsky/slp3/9.pdf9.1 Attentionword2vec 과 같은 static 임베딩 => 단어에 대한 표현이 문맥 context와 아무 관련 없이 항상 동일한 고정된 벡터값을 가진다는 사실을 알고 있음따라서 it, her 등과 같은 pronoun의 경우에는 문장 속에서 문맥이 굉장히 의미를 많이 좌우함 -> 문맥적인 요소가 담겨있지 않은 static embedding을 활용하게 되면 모델의 성능이 떨어지게 됨 위의 예시에서 9.1의 "it" 은 "chicken"을, 9.2 에서의 "it"은 "road"를 지칭한다.만약 우리가 이 문장들의 의미계산을 한다고 했을 때, 문맥에 예민하게 해석을 할 수밖에 없는 상태 이외에도 많은 경우에 단어들은 ..

https://web.stanford.edu/~jurafsky/slp3/7.pdf 7.1 Unitscomputational unit은 하나의 계산 가능한 input을 받고, 이에 대해 계산을 실행한 뒤 output을 제공한다unit에는 입력에 대한 계산을 수행하기 위해 weighted sum을 실행하는데, 이는 weight을 곱한 뒤 bias term을 더해주는 과정이다x1...xn의 입력을 받는다면, 이 unit은 각각에 상응하는 weight 인 w1...wn 을 곱하고 bias인 b를 더하게 된다.최종적인 weighted sum인 z의 모습은 다음과 같아진다.그리고 이러한 수식은 weighted sum을 벡터의 형태로 나타내어 dot product를 수행하는 방식으로 수식을 표현하면 조금 더 간단하게..

torch.nn.Module 은 PyTorch의 모든 Neural Network의 Base Class이다. 모듈은 다른 모듈을 포함할 수 있고, 트리 구조로 형성할 수 있다. import torch.nn as nnimport torch.nn.functional as Fclass MyModel(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5) self.conv2 = nn.Conv2d(20, 20, 5) def forward(self, x): x = F.relu(self.conv1(x)) return F.relu(se..

1. 클래스 (Class) 와 객체 (Object) 과자틀 = 클래스, 과자 틀로 찍어낸 과자 = 객체 클래스로 만든 객체에는 중요한 특징이 있는데, 바로 객체마다 고유한 성격을 가진다는 것이다 동일한 클래스로 만든 객체들은 서로 전혀 영향을 주지 않는다.>>> a = Cookie() >>> b = Cookie()Cookie의 결과값을 리턴 받는 변수 a와 b가 객체 마치 함수를 사용하여 그 결과값을 리턴받는 모습과 유사하다 ** 객체와 인스턴스의 차이 a = Cookie() 로 만든 a는 객체이다, 그리고 a 객체는 Cookie 클래스의 인스턴스이다. 즉 인스턴스라는 말은 특정 객체(a)가 어떤 클래스(Cookie)의 객체인지는 관계 위주로 설명할 때 사용한다. 2. 클래스 구조 만들기>>> class..

1. Speech Recognition음성 인식이란 사람이 말하는 음성 언어를 컴퓨터가 해석해 그 내용을 문자 데이터로 전환하는 처리STT, 즉 Speech to Text라고도 함 2. Loss Function손실함수란, 하나의 데이터 혹은 하나의 배치 사이즈의 데이터를 x라고 하고 그의 대한 ground-truth label을 t, 모델 아웃풋을 y라고 한다면 y와 t 사이의 거리를 측정하는 방법론 3. Entropy엔트로피는 무작위 시행의 결과를 식별하여 전달되는 정보의 기대(즉, 평균) 양을 측정변수의 잠재적 상태 또는 가능한 결과와 관련된 불확실성 또는 정보의 평균 수준을 정량화합니다. 이는 모든 잠재적 상태에 걸친 확률 분포를 고려하여 변수의 상태를 설명하는 데 필요한 예상 정보량을 측정 4. ..