최종 보고서 및 발표 자료 백업

연구 끝 !

뿌듯하구만

23_2_안정민_AIH_최종발표_제출.pdf

2.64MB

안정민_연구결과보고서.docx

3.49MB

학부연구생 최종보고서_안정민.hwp

0.26MB

---

아 그리고 이번 기회에 깃허브 아무것도 안 하고 잠만 자고 있던 계정을 흔들어 깨워서 사람답게 꾸며주고 업데이트 시켰음 ! 학부연구생 관련 자료 다 올려두었다

 

https://github.com/Ahn-Jeongmin

Ahn-Jeongmin - Overview

 

 

---

 

최적화 : 손실함수에서 손실이 가장 적은 부분을 찾아가는 것, 그리고 그 알고리즘. 즉 학습속도를 빠르고 안정적이게 하는 것을 목표로 한다

Adam:RMSProp(모든 자료보다는 일부분의 자료에 대해 이전 맥락을 고려해 모르는 곳은 보폭을 크게, 잘 아는 곳은 보폭을 작게, 보폭 결정) 과 Momentum(관성 주는 것, 방향 결정)을 합한 모델

: 확률적 경사하강법의 변형

AdamW; Adam의 L2 정규화 특성을 왜곡시키는 문제를 해결한 버전

: 가중치 감쇠를 더 잘 분리하여 적용

 

Bert uncased: 다 소문자화

bert cased: 대소문자 살림, 고유어 찾아내는 것에 유리

 

batch size를 32가 아니라 16으로 준 이유 : 모델이 학습 과정에서 한 번에 처리하는 데이터 샘플 수

:작은 batch size가 flat 모델을 만들어낼 수 있기 때문이다. 더 나은 일반화 성능을 가지도록 하기 위함이었다