목록분류 전체보기 (213)
archive
[교재] 3. 회귀 알고리즘과 모델 규제 (1)
3-1 K-최근접 이웃 회귀1. K-최근접 이웃 회귀 - 지도 학습 알고리즘은 크게 분류와 회귀로 나뉜다.- 분류 : 주어진 샘플을 몇 개의 클래스 중 하나로 분류하는 문제 (출력값 : c1, c2...)- 회귀 : 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 숫자를 예측하는 것 (출력값 : y값)- 즉, 회귀는 정해진 클래스가 없고 임의의 수치를 출력한다. - k-최근접 이웃 알고리즘을 적용- k-최근접 이웃 분류 알고리즘 : 예측하려는 샘플에서 가까운 샘플 k개를 선택하고, 이 샘플들의 클래스를 확인하여 다수 클래스를 새로운 샘플의 클래스로 예측하는 방법- k-최근접 이웃 회귀 알고리즘 : 예측하려는 샘플에 가장 가까운 샘플 k개를 선택하고, 수치들의 평균을 구하여 임의의 수치인 평균을 반환..
[교재] 2. 데이터 다루기
2-1 훈련 세트와 테스트 세트1. 샘플링 편향- 훈련 세트와 테스트 세트에 샘플이 골고루 섞여있지 않으면 샘플링이 한 쪽으로 치우쳐져있다는 의미로 샘플링 편향 (Sampling bias)라고 부른다.- 특정 종류의 샘플이 과도하게 많은 샘플링 편향을 가지고 있다면 제대로 된 지도 학습 모델을 만들 수 없다.- 따라서 훈련세트와 테스트 세트를 나누기 전에 데이터를 섞던지 아니면 골고루 샘플을 뽑아서 훈련세트와 테스트 세트를 구성해야 한다. 2. 두 번째 머신 러닝 프로그램- K-최근접 이웃 모델의 fit() 메서드는, 이 메서드를 실행할 때만 KNeighborsClassifier 클래스의 객체는 이전에 학습만 모든 것을 잃어버리고 초기화된다.-따라서 이전의 모델을 그대로 두고 싶다면 KNeighborsC..
[실험] Predibase의 LoRA Land 사이트를 참고하여 LoRA의 기본 개념과 활용 방법 이해하기
(1) LoRA 적용을 위한 구체적인 절차와 파라미터 설정[1] LoRA 설정task_type: 모델이 수행할 태스크의 종류 (예: TaskType.CAUSAL_LM).inference_mode: 추론 모드 설정 (학습 시 False).r: 저랭크 행렬의 크기 (예: 8).lora_alpha: LoRA 적용 시 기존 가중치 행렬에 곱해지는 스케일 팩터 (예: 32).lora_dropout: 과적합 방지를 위한 드롭아웃 비율 (예: 0.1)from peft import LoraConfigconfig = LoraConfig()configfrom peft import LoraConfig, TaskTypepeft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, ..
GGUF (Georgi Gerganov Unified Format)
1. GGUF 소개- GGUF는 Georgi Gerganov 라는 개발자가 만든 딥러닝 모델 저장 용도의 단일 파일 포맷이다- GGML( 컴퓨터에서도 큰 모델을 빠르게 돌릴 수 있는 ML용 라이브러리 ) 을 사용하여 대형 모델을 실행하는 프로그램과 모델을 저장하는 파일 형식 - GGUF는 모델을 빠르고 쉽게 불러오고 저장할 수 있게 해주는 바이너리 형식으로 설계되었다.- 크게 (모델의 가중치 텐서 값)과 (메타데이터) 가 key-value 형식으로 저장되어있다 - 개발자들은 보통 PyTorch 같은 프로그래밍 도구로 모델을 만든 후, GGML에서 쓸 수 있도록 GGUF 형식으로 저장한다.- GGUF는 이전에 사용되던 GGML, GGMF, GGJT와 같은 형식을 개선하여 모든 필요한 정보를 담고 있으며, ..
[실험] Prompt 조사 및 Prompt에 따른 Chatbot 답변 변화
■ 프롬프트: 누군가의 특정한 작업 수행을 도우려 전달하는 메시지를 의미: 생성형 AI에게 어떤 행동을 해야 하는지 자연어로 설명해 원하는 결과물을 출력할 수 있게 하는 입력값: 프롬프트는 AI를 작동시키기 위해 사용자가 언어 모델에 입력하는 모든 것 (명령, 지시, 질문, 요청): 프롬프트의 구성을 만들어 가는 것을 프롬프트 엔지니어링: https://www.codestates.com/blog/content/%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8-%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81 AI 프롬프트와 프롬프트 엔지니어링 | 정의와 예시 - 코드스테이츠 공식 블..
2024년 5월 중순 이후의 최신 LLM 모델 정리
GPT-4o (OpenAI, 24년 5월 13일 출시)(1) 모델 아키텍처GPT-4o는 텍스트, 비전 및 오디오 입력으로 훈련된 단일 신경망을 End to End로 훈련한 최초의 모든 Modality 결합 모델이다.서로 다른 데이터 유형에 대해 별도의 모델을 학습하여 별도로 관리하는 기존 기술과 차이점을 보인다.즉, 이 모델은 하나의 신경망을 활용한 Generation을 진행하기 때문에 텍스트, 오디오, 이미지, 비디오가 혼합된 Prompt를 허용하게 된다는 뜻이다. (2) 성능 비교 (벤치 마크 테스트 데이터 결과)https://openai.com/index/hello-gpt-4o/6개의 벤치마크 결과가 사용되었습니다.대규모 Multitask 언어 이해 (MMLU). 초등 수학, 미국 역사, 컴퓨터 과..