Philip's blog

[p208p2002]

https://blog.philip-huang.tech/?page=peft-overview

- tags: peft overview LLM fine-tune LoRA Adapter - date: 2023/12/15

語言模型（LM）技術已經實現一些重大突破，使得模型的規模更加龐大。然而，對大部份的人說，要微調如此巨大的模型所需的門檻太高。Parameter-efficient fine-tuning（PEFT）提供了一種新的訓練方法，即通過訓練一小組參數，使微調門檻降低，並且讓模型能夠適應和執行新的任務。

LM fine-tuning 演進

1. Full fine-tuning
   Transformer 架構模型剛推出時(BERT,GPT, etc.)，普遍模型大小落在500M~700M左右，這時候高端的消費級顯卡可以負擔微調所需的硬體門檻。

2. In-Context learni