archive

+정리 ppt   +노션 정리

+ 정리 피피티 첨부 노션 정리본 0.References📖 Lecture Note : https://web.stanford.edu/class/cs224n/readings/cs224n_winter2023_lecture1_notes_draft.pdf📺 Lecture Video : https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=1  1. Introduction to Natural Language Processing 1.1 Core Target of NLP핵심적인 자연어 처리 문제 = 어떻게 컴퓨터가 ‘언어’를 구사하고 표현할 것인가?   2.Representing words 2.1 Signif..

*Artificial intelligence based detection of early cognitive impairment using language, speech, and demographic features: Model development and validationDementia detection 프로젝트 세미나 발표 자료 백업1. A New ML Approach(1) ConceptNet 의 적용 LLM은 큰 규모의 데이터셋을 바탕으로 구축되는 모델임대규모 데이터세트에 대한 의존도를 줄이기 위한 방법 -> 입력 데이터의 표현을 풍부하게 함따라서 이 논문에서는 ConceptNet이라는 개념을 통해서 입력 데이터를 임베딩https://conceptnet.io/ ConceptNetSources of ..

https://web.stanford.edu/~jurafsky/slp3/9.pdf9.1 Attentionword2vec 과 같은 static 임베딩 => 단어에 대한 표현이 문맥 context와 아무 관련 없이 항상 동일한 고정된 벡터값을 가진다는 사실을 알고 있음따라서 it, her 등과 같은 pronoun의 경우에는 문장 속에서 문맥이 굉장히 의미를 많이 좌우함 -> 문맥적인 요소가 담겨있지 않은 static embedding을 활용하게 되면 모델의 성능이 떨어지게 됨 위의 예시에서 9.1의 "it" 은 "chicken"을, 9.2 에서의 "it"은 "road"를 지칭한다.만약 우리가 이 문장들의 의미계산을 한다고 했을 때, 문맥에 예민하게 해석을 할 수밖에 없는 상태 이외에도 많은 경우에 단어들은 ..

https://web.stanford.edu/~jurafsky/slp3/7.pdf 7.1 Unitscomputational unit은 하나의 계산 가능한 input을 받고, 이에 대해 계산을 실행한 뒤 output을 제공한다unit에는 입력에 대한 계산을 수행하기 위해 weighted sum을 실행하는데, 이는 weight을 곱한 뒤 bias term을 더해주는 과정이다x1...xn의 입력을 받는다면, 이 unit은 각각에 상응하는 weight 인 w1...wn 을 곱하고 bias인 b를 더하게 된다.최종적인 weighted sum인 z의 모습은 다음과 같아진다.그리고 이러한 수식은 weighted sum을 벡터의 형태로 나타내어 dot product를 수행하는 방식으로 수식을 표현하면 조금 더 간단하게..

torch.nn.Module 은 PyTorch의 모든 Neural Network의 Base Class이다. 모듈은 다른 모듈을 포함할 수 있고, 트리 구조로 형성할 수 있다. import torch.nn as nnimport torch.nn.functional as Fclass MyModel(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5) self.conv2 = nn.Conv2d(20, 20, 5) def forward(self, x): x = F.relu(self.conv1(x)) return F.relu(se..