我最近需要对工作中的特定用例进行句子分类。记得 jeremy howard 的第 4 课：针对绝对初学者的 nlp 入门，我首先改编了他的笔记本来微调 deberta。
它有效，但并不令我满意，所以我很好奇如果我使用像 llama 3 这样的 llm 会发生什么。问题是什么？ gpu 资源有限。我只能访问 tesla/nvidia t4 实例。
研究让我找到了 qlora。这个关于使用 qlora 微调 llama 3 llm 进行股票情绪文本分类的教程特别有用。为了更好地理解本教程，我将第 4 课改编成 qlora 教程笔记本。
qlora 使用两种主要技术：
- 量化：降低模型精度，使其更小。
- lora（低阶适应）：添加小型可训练层，而不是微调整个模型。
这使我能够在 16gb vram t4 上训练 llama 3 8b，使用大约 12gb 的 vram。结果出奇的好，预测准确率超过90%。
Confusion Matrix:
[[83 4]
[ 4 9]]
Classification Report:
precision recall f1-score support
0.0 0.95 0.95 0.95 87
1.0 0.69 0.69 0.69 13
accuracy 0.92 100
macro avg 0.82 0.82 0.82 100
weighted avg 0.92 0.92 0.92 100
Balanced Accuracy Score: 0.8231653404067196
Accuracy Score: 0.92
这是详细介绍该过程的 ipython 笔记本。
这种方法表明可以在有限的硬件上使用大型语言模型。在限制条件下工作通常会带来创造性的问题解决和学习机会。在这种情况下，这些限制促使我去探索和实施更高效的微调技术。
