lora微调时target_modules需按模型结构精确选择：llama/mistral用["q_proj","k_proj","v_proj","o_proj"]，phi-3/gemma同理但注意down_proj可选，qwen2等需用named_modules确认实际名称；qlora中bnb_4bit_compute_dtype应与硬件匹配（a100/h100用bfloat16，rtx3090/4090用float16），且必须与trainer混合精度设置一致；prepare_model_for_kbit_training必须在get_peft_model前调用；合并权重前须先model.eval()，再merge_and_unload()，导出fp16需额外to(torch.float16)。
LoRA 微调时 target_modules 怎么选才不报错
选错 target_modules 是 LoRA 最常见的崩溃原因——模型加载不报错，但训练一启动就提示 KeyError: 'xxx' 或 Module not found。根本原因是 Hugging Face 的 peft 库只对模块名做字符串匹配，不自动适配不同模型结构。
- LLaMA / Mistral 系列（
LlamaForCausalLM）：固定用["q_proj", "k_proj", "v_proj", "o_proj"]；加"gate_proj"和"up_proj"能提升效果，但必须确认模型确实有这些层（比如 LLaMA-3 有，LLaMA-2 没有gate_proj） - Phi-3 / Gemma：必须包含
"q_proj","k_proj","v_proj","o_proj"，"down_proj"可选；漏掉o_proj会导致梯度无法回传到注意力头 - 别硬套教程里的列表：用
model.named_modules()打印前 20 行，搜"proj"看实际名字；有些模型（如 Qwen2）的v_proj实际叫value_proj - QLoRA 下如果开了
load_in_4bit=True，target_modules必须在量化前就确定——改了列表再 reload 模型会触发RuntimeError: Cannot re-initialize CUDA in forked subprocess
QLoRA 训练中 bnb_4bit_compute_dtype 设成 torch.float16 还是 torch.bfloat16
这个参数不决定显存占用，只影响计算精度和硬件兼容性。设错不会报错，但可能让 loss 飙升或收敛变慢。
- A100 / H100：优先用
torch.bfloat16，矩阵乘更稳，尤其 batch size > 4 时；float16在长序列上容易 underflow - RTX 3090 / 4090：只能用
torch.float16，bfloat16 不被原生支持，强行设会静默退化为 float32，显存暴涨且速度不增 - 混合精度训练（
fp16=True或bfloat16=True在 Trainer 中）必须和bnb_4bit_compute_dtype一致，否则Trainer会跳过某些层的梯度缩放，loss 曲线锯齿状抖动 - 检查方法：
print(model.base_model.model.model.layers[0].self_attn.q_proj.weight.dtype)—— 输出应和你设的compute_dtype完全一致
prepare_model_for_kbit_training 必须在 get_peft_model 之前调用
顺序反了会导致梯度全部为 None，训练几步后 loss 突然变成 nan，但不报错。这是因为 prepare_model_for_kbit_training 做了两件事：插入梯度检查点（gradient_checkpointing_enable）和重置 layernorm 的 dtype；如果 LoRA adapter 已经 wrap 了模块，再调用它就失效了。
- 正确顺序只有这一种：
model = prepare_model_for_kbit_training(model)→peft_config = LoraConfig(...)→model = get_peft_model(model, peft_config) - 常见错误：在
AutoModelForCausalLM.from_pretrained后直接get_peft_model，忘了 prep；或者把prepare_model_for_kbit_training放在 Trainer 初始化之后 - 如果你用了
load_in_4bit=True但没调这个函数，model.forward()能跑，Trainer.train()会卡在第一个 step，GPU 显存占满不动，nvidia-smi看不到计算活动
微调后合并权重时 model.merge_and_unload() 报 RuntimeError: can't detach tensor that requires grad
这说明模型还在训练模式下强行合并，PyTorch 拒绝破坏计算图。不是 bug，是保护机制。
立即学习“Python免费学习笔记（深入）”；
- 必须先
model.eval()，再model.merge_and_unload()；如果用 Trainer，要在Trainer.train()结束后手动加这行 - QLoRA 合并后默认仍是 4-bit 权重，想导出为 fp16 模型，得额外调
model = model.to(torch.float16)，否则save_pretrained()存的是量化状态，下次 load 会报AttributeError: 'int4' object has no attribute 'shape' - 合并后验证：用
model("Hello")跑一次前向，输出logits形状应和原始模型一致；如果 shape 少一维，说明merge_and_unload没生效，大概率是忘关 eval 模式 - 小模型（model.save_pretrained("merged") +
from_pretrained(..., device_map="auto")加载，避免合并时 OOM
