목록2024/11/24 (1)
archive
9. Transformers
https://web.stanford.edu/~jurafsky/slp3/9.pdf9.1 Attentionword2vec 과 같은 static 임베딩 => 단어에 대한 표현이 문맥 context와 아무 관련 없이 항상 동일한 고정된 벡터값을 가진다는 사실을 알고 있음따라서 it, her 등과 같은 pronoun의 경우에는 문장 속에서 문맥이 굉장히 의미를 많이 좌우함 -> 문맥적인 요소가 담겨있지 않은 static embedding을 활용하게 되면 모델의 성능이 떨어지게 됨 위의 예시에서 9.1의 "it" 은 "chicken"을, 9.2 에서의 "it"은 "road"를 지칭한다.만약 우리가 이 문장들의 의미계산을 한다고 했을 때, 문맥에 예민하게 해석을 할 수밖에 없는 상태 이외에도 많은 경우에 단어들은 ..
ML_AI/24_여름방학 인공지능 스터디
2024. 11. 24. 13:41