목록분류 전체보기 (224)
archive
👾 last update : 2025. 4. 30 [ 2025년 5월 ]🗓️주차🗓️📚논문📚✏️비고✏️5월 1주(4/27 ~ 5/3)1) Editing Models with Task Arithmetic - Ilharco et al. (ICLR 2023)https://tingmins-swdeliveryservice.tistory.com/229Model Merging 기초 논문 읽고 정리3)은 DARE 논문2) TIES-MERGING: Resolving Interference When Merging Models - Yadav et al. (NeurIPS 2023)https://tingmins-swdeliveryservice.tistory.com/2313) Language Models are Super..
[LoRA Merging] Merging LoRAs Like Playing LEGO : Pushing the Modularity of LoRA to Extremes through Rank-wise Clustering
https://arxiv.org/pdf/2409.161671. IntroductionLoRA의 모듈식 특성은 LLM을 위한 플러그-앤-플레이 플러그인 (plug-and-play plugin) 으로 작동할 수 있게 한다** 즉 꽃기만 하면 바로 사용 가능한 것=> huggingface 와 같은 플랫폼에서 대규모 LoRA 컬렉션의 저장 및 배포를 용이하게 한다그리고 이러한 LoRA 의 광범위한 가용성은 여러 LoRA 를 '통합된 어댑터' 로 결합하여 LLM의 기능을 크게 확장하려는 관심을 일으킴 이전의 특정 태스크 집중 LoRA 훈련이 아니라, 추가 훈련 없이 여러 LoRA의 매개변수를 통합 어댑터로 집계하는 방법론이 제안됨=> 내부적으로 요소별 매개변수 융합을 사용하여 LoRA 내의 내부 의미 구조를 간과..
[LoRA Merging] LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition
https://arxiv.org/abs/2307.13269 LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA CompositionLow-rank adaptations (LoRA) are often employed to fine-tune large language models (LLMs) for new tasks. This paper investigates LoRA composability for cross-task generalization and introduces LoraHub, a simple framework devised for the purposive assembly oarxiv.orghttps://github.com/sail-sg/..
[LoRA Merging] LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
https://arxiv.org/abs/2410.13025 LoRA Soups: Merging LoRAs for Practical Skill Composition TasksLow-Rank Adaptation (LoRA) is a popular technique for parameter-efficient fine-tuning of Large Language Models (LLMs). We study how different LoRA modules can be merged to achieve skill composition -- testing the performance of the merged model on a targetarxiv.org1. Introduction일반적인 목적의 LLM은 특정 도메인 특..
[Model Merging] Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
https://arxiv.org/pdf/2311.03099 1. Introduction언어 모델도 게임 캐릭터와 마찬가지로 '다른 모델을 흡수' 하므로써 자신들의 능력을 향상시킬 수 있음재학습(retraining)이나 GPU 조차 필요 없이 가능하다는 점이 주목할만함 Fine tuning : 언어 모델에게 task 에 특화된 능력을 부여하는, 가장 널리 사용되는 전략 -> 모델 파라미터 최적화파인튜닝의 효과는 델타 파라미터 (task vector) 을 통해 명확히 드러남 [문제 지적]파인튜닝 언어 모델이 과도하게 중복적인 task vector (값이 0, 변화량이 없음을 의미) 을 가지는 경향이 있음=> DARE (DRop and REscale) 제안=> 일정 비율 p로 일부 델타 파라미터(task ve..
[Model Merging]TIES-MERGING: Resolving Interference When Merging Models
https://arxiv.org/pdf/2306.01708 1. Introduction각 task 마다 개별적인 미세조정된 모델을 가지는 것은 몇 가지 단점을 가짐(1) 새 task 전용 모델을 구현할 때마다 별도의 모델을 저장하고 배포(2) 개별적으로 학습된 모델들 간의 정보 공유 및 도메인 일반화가 불가능 Q. 그럼 그냥 개별 모델들이 수행하는 작업을 혼자 처리할 수 있는 멀티태스크 모델을 만들면 되잖아요?A. 모든 작업에 동시에 접근할 수 있어야 하고, 비용이 많이 드는 학습 과정을 요구 **Model Merging : 추가적인 학습 없이, 여러 작업별 모델을 단일 멀티태스크 모델로 통합하는 것이다 기존 연구의 방향=> 모델 가중치를 다양한 가중 방식으로 단순히 합산 후 병합=> 다양한 가중 방식 ..