[2월 NLP 기초 논문 스터디] Word2Vec

+ 정리 피피티 첨부

Word2Vec.pptx

1.18MB

---

 

노션 정리본

01._intro__word_vectors.pdf

1.56MB

---

 

0.References

📖 Lecture Note : https://web.stanford.edu/class/cs224n/readings/cs224n_winter2023_lecture1_notes_draft.pdf

📺 Lecture Video : https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4&index=1

 

---

 

1. Introduction to Natural Language Processing

 

1.1 Core Target of NLP

핵심적인 자연어 처리 문제 = 어떻게 컴퓨터가 ‘언어’를 구사하고 표현할 것인가?

 

 

---

 

2.Representing words

 

2.1 Signifier and Signified

‘의미’ 에 대해 언어학적으로 접근하는 방법 : signifier (symbol, language) - signified (idea or thing)

=denotational semantics, 표기적 의미론, 즉 언어적인 의미를 수학적인 객체로 정의하는 과정

 

 

2.2 WordNet

초기에 우리가 컴퓨터를 통해 ‘유의미한 의미’를 생성해내는 방법론

=대규모 어휘 데이터베이스 (lexical database)

= WordNet과 같이 dictionary 리소스를 만들어내어서 동의어 혹은 상위어, 포괄어(ISA relation으로 연결된 단어들) 등을 포함하는 사전을 만들어 활용하는 것

 

 

2.3 Distributional Semantics (Contextual Approach)

Distributional Semantics : 단어의 의미는 자주 근처에 등장하는 단어들에 의해 결정 (fixed size window)

word vector = word embedding = word representation

각 단어에 대해 밀집 벡터(dense vector)를 구축, 이는 window 내의 단어들의 벡터와 유사하도록 선택

ex) banking = [0.286, 0.792, -0.177, -0.107, 0.109] → 실생활에서는 300차원 이상의 복잡한 벡터 활용해서 표현

 

다차원으로 표현된 벡터는 다차원 공간 상에 배치되며, 여기서 비슷한 의미 (비슷한 벡터값)을 가진 단어는 가까이에 위치하게 됨

---

3.Word2Vec

3.1 Word2Vec Overview

 

Word2Vec은 단어 벡터 학습을 위한 프레임워크 (Mikolov et al. 2013)

• 큰 말뭉치의 텍스트를 가지고 있음
• 고정된 어휘의 각 단어는 벡터로 표현
• 텍스트 내의 각 위치 t에 대해, 중심 단어 c와 주변 단어 o (window 내부 단어) 를 확인
• c와 o의 단어 벡터 간의 유사성을 사용하여 o가 c 주어졌을 때 발생할 확률을 계산
• 이 확률을 극대화하도록 단어 벡터를 계속 조정, 단순 텍스트 데이터를 iterate 하면서 확률을 극대화하도록 조정 (Likelihood)