archive

torch.nn.Module 은 PyTorch의 모든 Neural Network의 Base Class이다. 모듈은 다른 모듈을 포함할 수 있고, 트리 구조로 형성할 수 있다. import torch.nn as nnimport torch.nn.functional as Fclass MyModel(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5) self.conv2 = nn.Conv2d(20, 20, 5) def forward(self, x): x = F.relu(self.conv1(x)) return F.relu(se..

1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews (hada.io) 1년 동안 LLM과 함께 구축하며 배운 점 | GeekNews대규모 언어 모델(LLM)을 사용한 개발이 흥미로운 시기임지난 1년 동안 LLM이 실제 애플리케이션에 "충분히 좋은" 수준이 되었으며, 매년 더 좋아지고 저렴해지고 있음소셜 미디어의 데모와 함께,news.hada.io  1. 전술적 관점 : LLM 사용의 핵심(1) 전술 1 : 프롬프팅 ● 기본 프롬프팅 기술을 최대한 활용하는 것에 집중-> N-shot 프롬프트 + 문맥 내 학습, 사고의 연쇄, 관련 리소스 제공전술설명N-shot Prompting+문맥 내 학습● n-shot이란 n개의 예시를 프롬프트로 모델에게 전달하는 것을 의미● zero shot은 모델에게 작..

Grounding LLMs - Microsoft Community Hub Grounding LLMsI recently gave a talk at a Microsoft-internal event on everything I learned (so far) about grounding LLMs with Retrieval Augmented Generation and other..techcommunity.microsoft.com 1. 그라운딩이란?LLM의 본래 학습 데이터에 포함 되지 않은 외부 정보와 연결하는 과정왜 외부 지식과 연결 ? → LLM을 특정 사례에 적합하도록 하기 위해 (domain specific) 이는 특정 도메인에서 LLM이 사용될 때, LLM의 생성 출력의 품질, 정확성 및 관련성을 보장즉..

1. GGUF 소개- GGUF는 Georgi Gerganov 라는 개발자가 만든 딥러닝 모델 저장 용도의 단일 파일 포맷이다- GGML( 컴퓨터에서도 큰 모델을 빠르게 돌릴 수 있는 ML용 라이브러리 ) 을 사용하여 대형 모델을 실행하는 프로그램과 모델을 저장하는 파일 형식 - GGUF는 모델을 빠르고 쉽게 불러오고 저장할 수 있게 해주는 바이너리 형식으로 설계되었다.- 크게 (모델의 가중치 텐서 값)과 (메타데이터) 가 key-value 형식으로 저장되어있다 - 개발자들은 보통 PyTorch 같은 프로그래밍 도구로 모델을 만든 후, GGML에서 쓸 수 있도록 GGUF 형식으로 저장한다.- GGUF는 이전에 사용되던 GGML, GGMF, GGJT와 같은 형식을 개선하여 모든 필요한 정보를 담고 있으며, ..

GPT-4o (OpenAI, 24년 5월 13일 출시)(1) 모델 아키텍처GPT-4o는 텍스트, 비전 및 오디오 입력으로 훈련된 단일 신경망을 End to End로 훈련한 최초의 모든 Modality 결합 모델이다.서로 다른 데이터 유형에 대해 별도의 모델을 학습하여 별도로 관리하는 기존 기술과 차이점을 보인다.즉, 이 모델은 하나의 신경망을 활용한 Generation을 진행하기 때문에 텍스트, 오디오, 이미지, 비디오가 혼합된 Prompt를 허용하게 된다는 뜻이다. (2) 성능 비교 (벤치 마크 테스트 데이터 결과)https://openai.com/index/hello-gpt-4o/6개의 벤치마크 결과가 사용되었습니다.대규모 Multitask 언어 이해 (MMLU). 초등 수학, 미국 역사, 컴퓨터 과..