목록ML_AI (68)
archive
깃
https://velog.io/@pcj1541/Git-1.-Github-Start [Git] 1. Github 시작하기창업을 하면서 혼자 솔로플레이를 하는 동안에는 git/github(깃/깃헙)의 필요성을 느끼지 못했었다.velog.io
[논문 리뷰] Attention Is All You Need
https://arxiv.org/pdf/1706.03762 이번 논문 리뷰는 학부연구생 논문 작성을 위해 베이스 레퍼런스를 정확히 개념파악을 하기 위해 시작하였다이전에 네이버 부스트클래스에서 얕게 다뤄본 경험은 있지만, 시간도 조금 흘러 기억이 잘 안 나기도 하고, 논문 원문을 읽어보고 싶어서 정리하게 되었다. 논문 리뷰 시 아래의 티스토리 블로그를 참고했다https://aistudy9314.tistory.com/631. Introduction 위 그림과 같은 recurrent 모델의 경우 입력을 순차적으로 넣어주어야 하기 때문에 계산 수행 시 병렬 처리가 불가능→ memory and computation burden 이 증가함 Transformers 모델의 경우 "인수분해 트릭" 과 "조건부 계산"을 ..
[8월 29일 미팅] 논문 작성 법 및 주제 탐색
1. 논문 작성 법 - 9월 5일 일주일 뒤에 미팅 겸 회식이 잡혔다- 그 전까지 아래 중에서 "주제 선정" 과 구체화, "레퍼런스 수집" 겸 여러 관련 논문 탐색을 해보는 것이 좋을 것 같다- 사실 5일 미팅 이후에 그 다음주 미팅인 12일 미팅은 교수님 일정 상 캔슬이라서, 대량 3주간의 시간이 있는 만큼, 5일 미팅에는 구체적이고 현실적인 논문 주제를 정해서 교수님께 말씀드리는 것이 좋을 것 같고,- 12일 미팅까지 레퍼런스 논문을 읽고 동향을 파악하는 것이 좋을 것 같다. 2. 주제 탐색- Hallucination 감소와 관련한 논문을 작성하고 싶다- 멀티 모달을 다루어보면 나에게도 큰 도움이 될 거 같고, LLM 과 NLP라는 틀에 박히지 않을 것 같다-그러나 GPU 자원이 제공이 되지 않는다..
[기사 스크랩] 1년 동안 LLM과 함께 구축하며 배운 점
1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews (hada.io) 1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews대규모 언어 모델(LLM)을 사용한 개발이 흥미로운 시기임지난 1년 동안 LLM이 실제 애플리케이션에 "충분히 좋은" 수준이 되었으며, 매년 더 좋아지고 저렴해지고 있음소셜 미디어의 데모와 함께,news.hada.io 1. 전술적 관점 : LLM 사용의 핵심(1) 전술 1 : 프롬프팅 ● 기본 프롬프팅 기술을 최대한 활용하는 것에 집중-> N-shot 프롬프트 + 문맥 내 학습, 사고의 연쇄, 관련 리소스 제공전술설명N-shot Prompting+문맥 내 학습● n-shot이란 n개의 예시를 프롬프트로 모델에게 전달하는 것을 의미● zero shot은 모델에게 작..
[기사 스크랩] Grounding LLMs
Grounding LLMs - Microsoft Community Hub Grounding LLMsI recently gave a talk at a Microsoft-internal event on everything I learned (so far) about grounding LLMs with Retrieval Augmented Generation and other..techcommunity.microsoft.com 1. 그라운딩이란?LLM의 본래 학습 데이터에 포함 되지 않은 외부 정보와 연결하는 과정왜 외부 지식과 연결 ? → LLM을 특정 사례에 적합하도록 하기 위해 (domain specific) 이는 특정 도메인에서 LLM이 사용될 때, LLM의 생성 출력의 품질, 정확성 및 관련성을 보장즉..
[논문 리뷰] Deep Residual Learning for Image Recognition
https://arxiv.org/pdf/1512.03385v1 오늘은 Deep Residual Learning for Image Recognition에서 마이크로소프트팀이 소개한 ResNet에 대해 다뤄보려 한다. ResNet은 수학적으로 어려운 개념이 적용되었다기보다는 "잔차"라는, 방법론적으로 신박한 개념이 도입됨을 소개하는 논문이다. 첫 주인 이번주 스터디는 논문을 읽고 1회독을 하는 것을 목적으로 하고, 그 다음주에는 이 논문에서 제시하고 있는 아이디어를 스터디원과 함께 구현해보려고 한다. 1. Introduction 심층 신경망은 추상화에 대한 고/중/저 수준의 특징을 분류기와 함께 multi-layer 형식으로 통합한다각 추상화 단계는 쌓은 layer의 수에 따라 더욱 높아질 수 있으며, 즉..