LoRAとは？大規模言語モデルを効率的にファインチューニングする手法

Hugging FaceのPEFTライブラリを使って、大規模言語モデルにLoRA（Low-Rank Adaptation）を適用する基本的な設定方法を示します。

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, TaskType
import torch

# 1. ベースモデルの読み込み
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
base_model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
)

# 2. LoRAの設定
lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,   # タスク種別
    r=8,                            # LoRAのランク（低いほど軽量）
    lora_alpha=32,                  # スケーリング係数
    lora_dropout=0.1,               # ドロップアウト率
    target_modules=[                # LoRAを適用する層
        "q_proj",                   # Query射影
        "v_proj",                   # Value射影
    ],
    bias="none",                    # バイアスは学習しない
)

# 3. LoRAを適用
model = get_peft_model(base_model, lora_config)

# パラメータ数の比較
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 6,742,609,920
# trainable%: 0.0622%  <- 全体の0.06%だけを学習

# 4. 推論テスト
model.eval()
inputs = tokenizer("LoRAとは", return_tensors="pt").to(model.device)
with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.7,
    )
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

# 5. 学習済みLoRAアダプターの保存と読み込み
model.save_pretrained("./lora_adapter")
# 保存サイズ: 約16MB（7Bモデル全体の約14GBに対して0.1%）

# 別のセッションで読み込む場合:
# from peft import PeftModel
# base = AutoModelForCausalLM.from_pretrained(model_name, ...)
# model = PeftModel.from_pretrained(base, "./lora_adapter")

LoRAの設定で最も重要なのはランクr（低ランク行列の次元数）とtarget_modules（適用先の層）の2つです。rを大きくすると表現力が上がる代わりにメモリ消費が増え、一般的にはr=8~64の範囲で調整します。target_modulesはAttention層のq_projとv_projが定番ですが、k_projやo_proj、さらにMLPの層にも適用することで精度が向上するケースがあります。lora_alphaはrの4倍程度が目安です。