archive

Grounding LLMs - Microsoft Community Hub Grounding LLMsI recently gave a talk at a Microsoft-internal event on everything I learned (so far) about grounding LLMs with Retrieval Augmented Generation and other..techcommunity.microsoft.com 1. 그라운딩이란?LLM의 본래 학습 데이터에 포함 되지 않은 외부 정보와 연결하는 과정왜 외부 지식과 연결 ? → LLM을 특정 사례에 적합하도록 하기 위해 (domain specific) 이는 특정 도메인에서 LLM이 사용될 때, LLM의 생성 출력의 품질, 정확성 및 관련성을 보장즉..

https://arxiv.org/pdf/1512.03385v1 오늘은 Deep Residual Learning for Image Recognition에서 마이크로소프트팀이 소개한 ResNet에 대해 다뤄보려 한다. ResNet은 수학적으로 어려운 개념이 적용되었다기보다는 "잔차"라는, 방법론적으로 신박한 개념이 도입됨을 소개하는 논문이다. 첫 주인 이번주 스터디는 논문을 읽고 1회독을 하는 것을 목적으로 하고, 그 다음주에는 이 논문에서 제시하고 있는 아이디어를 스터디원과 함께 구현해보려고 한다.  1. Introduction 심층 신경망은 추상화에 대한 고/중/저 수준의 특징을 분류기와 함께 multi-layer 형식으로 통합한다각 추상화 단계는 쌓은 layer의 수에 따라 더욱 높아질 수 있으며, 즉..

9-1 순차데이터와 순환 신경망1. 순차데이터- 순차데이터 (sequential data) 는 텍스트나 시계열 데이터(time series data)와 같이 순서에 의미가 있는 데이터를 말함- 즉, 데이터의 입력 순서가 중요한 데이터가 순차데이터 -> 데이터의 순서를 유지하며 신경망에 주입해야 함- 따라서 순차데이터를 다룰 때는 이전에 입력한 데이터를 기억하는 기능이 필요 -순환신경망 : 완전 연결 신경망에 이전 데이터의 처리 흐름을 고려한 순환하는 고리 하나만 추가하면 됨-즉, 뉴런의 출력이 자기자신으로 전달 (재사용)-그 다음 데이터를 처리할 때에는 첫 번째 샘플을 처리하고 난, 해당 노드에 대한 정보가 다분히 들어있는 정보가 추가된 노드를 통해 처리가 됨, 즉 앞에서 만든 이전 노드를 사용해 출력을..

5-2 교차 검증과 그리드 서치1. 검증 세트- 검증 세트(validation set) 은 테스트 세트를 활용하지 않고 과대적합과 과소적합을 판단할 수 있는 데이터-보통 20-30%를 테스트세트와 검증세트로 떼어놓음 -> 그러나 데이터가 많다면 조금의 데이터도 전체 데이터를 대변하는 데에 큰 문제가 없으므로 문제에 따라 비율 조정- 훈련세트에서 모델을 훈련하고 검증 세트에거 모델을 평가- 매개변수 + 어떤 데이터를 검증세트 -> 바꾸어가며 모델 훈련-그리고 마지막에 테스트세트에서 최종 점수를 평가한다from sklearn.model_selection import test_train_splittrain_input, test_input, train_target, test_target = test_train_..

5-1 결정 트리1. 로지스틱 회귀로 와인 분류하기- 판다스 데이터프레임으로 csv 파일을 제대로 읽어들였는지 확인하기 위해 head() 메서드로 처음 5개의 샘플을 확인- 타깃값으로 0이면 레드와인, 1이면 화이트와인인 이진분류문제, 화이트와인이 양성클래스 (화이트와인을 골라내야함)- info() 메서드 : 데이터프레임의 각 열의 데이터 타입과 누락된 데이터가 있는 지 확인하는 데 유용하다- 4개의 열은 모두 float 실수값, 누락값은 없음 - describe() 메서드 : 열에 대한 간략한 통계를 출력해 준다 (최소, 최대, 평균값 등을 확인 가능하다)-알 수 있는 것은 알코올과 당도, pH 값의 스케일이 다르다는 것이다 (StandardScaler 클래스를 활용해 특성을 표준화)from sklea..

3-3 특성 공학과 규제1. 다중회귀-다항회귀와 구분-다중회귀 (multiple regression) : 여러 개의 특성을 사용한 선형 회귀-다항회귀는 계수의 문제, 다중회귀는 차원의 문제 -특성공학 (feature engineering) : 기존의 특성들을 이용해서 새로운 특성을 뽑아내는 것-기존에 가지고 있던 [농어길이] 특성과 [농어높이] 특성을 활용해 이 둘을 곱하여 새로운 특성을 창출-사이킷런에서는 이를 위한 다양한 모듈과 함수들을 제공하고 있음  2. 데이터 준비- 이전과 다르게 데이터의 특성이 3개로 늘어났기 때문에 데이터를 복사해 붙여넣는 것도 어려움, 넘파이는 이러한 기능을 제공하지 않기 때문에 판다스 라이브러리를 활용-판다스(Pandas) 라이브러리는 데이터 분석 라이브러리로, 데이터프..