archive

https://web.stanford.edu/~jurafsky/slp3/9.pdf9.1 Attentionword2vec 과 같은 static 임베딩 => 단어에 대한 표현이 문맥 context와 아무 관련 없이 항상 동일한 고정된 벡터값을 가진다는 사실을 알고 있음따라서 it, her 등과 같은 pronoun의 경우에는 문장 속에서 문맥이 굉장히 의미를 많이 좌우함 -> 문맥적인 요소가 담겨있지 않은 static embedding을 활용하게 되면 모델의 성능이 떨어지게 됨 위의 예시에서 9.1의 "it" 은 "chicken"을, 9.2 에서의 "it"은 "road"를 지칭한다.만약 우리가 이 문장들의 의미계산을 한다고 했을 때, 문맥에 예민하게 해석을 할 수밖에 없는 상태 이외에도 많은 경우에 단어들은 ..

https://web.stanford.edu/~jurafsky/slp3/7.pdf 7.1 Unitscomputational unit은 하나의 계산 가능한 input을 받고, 이에 대해 계산을 실행한 뒤 output을 제공한다unit에는 입력에 대한 계산을 수행하기 위해 weighted sum을 실행하는데, 이는 weight을 곱한 뒤 bias term을 더해주는 과정이다x1...xn의 입력을 받는다면, 이 unit은 각각에 상응하는 weight 인 w1...wn 을 곱하고 bias인 b를 더하게 된다.최종적인 weighted sum인 z의 모습은 다음과 같아진다.그리고 이러한 수식은 weighted sum을 벡터의 형태로 나타내어 dot product를 수행하는 방식으로 수식을 표현하면 조금 더 간단하게..

torch.nn.Module 은 PyTorch의 모든 Neural Network의 Base Class이다. 모듈은 다른 모듈을 포함할 수 있고, 트리 구조로 형성할 수 있다. import torch.nn as nnimport torch.nn.functional as Fclass MyModel(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5) self.conv2 = nn.Conv2d(20, 20, 5) def forward(self, x): x = F.relu(self.conv1(x)) return F.relu(se..

1. Speech Recognition음성 인식이란 사람이 말하는 음성 언어를 컴퓨터가 해석해 그 내용을 문자 데이터로 전환하는 처리STT, 즉 Speech to Text라고도 함 2. Loss Function손실함수란, 하나의 데이터 혹은 하나의 배치 사이즈의 데이터를 x라고 하고 그의 대한 ground-truth label을 t, 모델 아웃풋을 y라고 한다면 y와 t 사이의 거리를 측정하는 방법론 3. Entropy엔트로피는 무작위 시행의 결과를 식별하여 전달되는 정보의 기대(즉, 평균) 양을 측정변수의 잠재적 상태 또는 가능한 결과와 관련된 불확실성 또는 정보의 평균 수준을 정량화합니다. 이는 모든 잠재적 상태에 걸친 확률 분포를 고려하여 변수의 상태를 설명하는 데 필요한 예상 정보량을 측정 4. ..

보호되어 있는 글입니다.

1. 주제- 일단 알고리즘 구축으로 가고,- 아동문학 구축 (혹은 교육자료구축) 주제는 그대로 가져가서 중앙사랑 출품 (논문 형식으로 쓰기는 할 건데 심사는 안 받을 거 같음) 2-1. Algorithm for Multimodal 진행사항도식화 고민 중인 문제1) 멀티모달 도달까지의 한계점1-1) 멀티모달은 이미지 투 이미지 지원, 단일 이미지 모델은 그렇지 않은 경우가 많음Kling ai 레퍼런스 기능 활용 orhttps://ml4a.github.io/guides/Pix2Pix/ Pix2PixThis tutorial will guide you on how to use the pix2pix software for learning image transformation functions between par..