如何正确合并PEFT LoRA适配器与基础模型

理解PEFT适配器合并的挑战与正确方法

在使用参数高效微调（PEFT）技术，特别是LoRA（Low-Rank Adaptation）对大型语言模型进行微调后，一个常见的需求是将训练好的适配器（adapter）与原始的基础模型合并，形成一个独立的、完整的、可以直接部署的新模型。然而，许多初学者可能会尝试直接使用transformers库的AutoModel.from_pretrained来加载适配器，或者尝试手动合并两个模型的state_dict，这通常会导致错误。

为何传统方法不可行？

1. AutoModel.from_pretrained的局限性： PEFT适配器并非一个完整的模型，它只包含微调过程中修改的少量权重。transformers.AutoModel.from_pretrained期望加载一个包含完整模型结构和所有权重的模型文件（如pytorch_model.bin）。当它尝试从一个只包含适配器权重的目录加载时，会因为找不到预期的模型文件而抛出OSError。
2. 手动合并state_dict的误区： PEFT的工作原理是在基础模型的特定层注入低秩矩阵，而不是直接修改基础模型的全部权重。因此，简单地将基础模型和适配器的state_dict进行加权平均（如0.8 * pretrained_weights + 0.2 * lora_adapter_weights）是无效的，因为适配器的权重结构与基础模型的完整权重结构并不直接对应，且这种操作无法正确地将LoRA矩阵应用到基础模型中。

正确的做法是利用PEFT库自身提供的强大功能，它已经为我们准备好了合并适配器的专用工具。

使用PEFT库合并LoRA适配器

PEFT库设计了专门的类和方法来处理适配器模型。核心思想是先加载带有适配器的模型，然后调用其内置的合并功能。

1. 加载PEFT适配器模型

要加载一个PEFT适配器模型，我们应该使用peft库中的AutoPeftModelForCausalLM（或其他针对特定任务的AutoPeftModelFor...类）。这个类能够识别并正确加载带有LoRA配置的基础模型和适配器权重。

以下是加载适配器模型的代码示例：

from peft import AutoPeftModelForCausalLM
import torch

# 假设您的PEFT适配器模型已保存在本地路径
# 或者直接从Hugging Face Hub加载，例如 "ArcturusAI/Crystalline-1.1B-v23.12-tagger"
# 对于本地路径，确保模型目录结构正确
model_id = "./ArcturusAI/Crystalline-1.1B-v23.12-tagger" 

# 加载带有PEFT适配器的模型
# 如果您的基础模型是CausalLM，使用AutoPeftModelForCausalLM
# 如果是其他任务，请选择对应的AutoPeftModelFor...
peft_model = AutoPeftModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16 # 推荐指定数据类型，如bfloat16或float16，以节省内存
)

print(f"加载后模型的类型: {type(peft_model)}")
# 预期输出: <class 'peft.peft_model.PeftModelForCausalLM'>

AutoPeftModelForCausalLM.from_pretrained会自动处理基础模型的加载和适配器权重的应用，使其成为一个PeftModelForCausalLM实例。

2. 执行合并操作

加载适配器模型后，PeftModel对象提供了一个便捷的方法merge_and_unload()，它负责将适配器权重合并到基础模型的对应层中，并返回一个纯粹的transformers模型实例。

# 执行合并操作
merged_model = peft_model.merge_and_unload()

print(f"合并后模型的类型: {type(merged_model)}")
# 预期输出示例: <class 'transformers.models.llama.modeling_llama.LlamaForCausalLM'>
# 具体类型取决于您的基础模型架构

merge_and_unload()方法会：

GPTKit

一个AI文本生成检测工具

108

查看详情

• 将LoRA权重矩阵（A和B）与基础模型的原始权重矩阵相乘并相加，从而更新基础模型的权重。
• 移除PEFT相关的包装，返回一个标准的transformers.PreTrainedModel实例，该实例已包含了微调后的全部知识。

3. 保存合并后的模型

合并后的merged_model现在是一个独立的transformers模型，您可以像保存任何其他transformers模型一样保存它：

# 定义保存路径
save_directory = "ArcturusAI/Crystalline-1.1B-v23.12-tagger-fullmodel"

# 保存合并后的模型
merged_model.save_pretrained(save_directory)

print(f"合并后的模型已保存至: {save_directory}")

处理分词器（Tokenizer）

需要注意的是，merge_and_unload()方法只处理模型的权重。一个完整的模型包通常还需要包含对应的分词器（tokenizer）。由于LoRA微调通常不改变分词器，因此您需要从原始的基础模型库中加载分词器，并将其与合并后的模型一起保存。

from transformers import AutoTokenizer

# 加载基础模型的分词器
base_model_tokenizer_id = "TinyLlama/TinyLlama-1.1B-Chat-v0.6"
tokenizer = AutoTokenizer.from_pretrained(base_model_tokenizer_id)

# 将分词器保存到与合并模型相同的目录
tokenizer.save_pretrained(save_directory)

print(f"分词器已从 {base_model_tokenizer_id} 加载并保存至: {save_directory}")

完成以上步骤后，save_directory中将包含一个完整的、可直接加载和使用的模型，包括合并后的模型权重和对应的分词器。

潜在问题与注意事项

PEFT版本兼容性：

PEFT库在不断发展，不同版本之间可能会存在配置文件的兼容性问题。例如，如果您使用旧版PEFT训练模型，然后尝试使用新版PEFT加载并合并，可能会遇到错误。这通常表现为adapter_config.json中存在新版PEFT引入但在旧版中不存在的字段，或者反之。

解决方案： 如果遇到加载错误，提示adapter_config.json中的某些键不兼容，您可以尝试手动编辑adapter_config.json文件，移除导致问题的键。常见的可能需要移除的键包括：

• loftq_config
• megatron_config
• megatron_core

在移除这些键后，重新尝试加载模型。建议在进行此操作前备份原始的adapter_config.json文件。

最佳实践：

• 版本管理： 尽量在训练和合并模型时使用相同或兼容的PEFT版本。
• 环境隔离： 使用虚拟环境管理项目依赖，确保依赖版本的一致性。
• 检查文档： 遇到问题时，查阅PEFT库的官方文档，了解不同版本之间的变化和兼容性要求。

总结

将PEFT LoRA适配器与基础模型合并是一个直接且高效的过程，关键在于利用peft库提供的AutoPeftModelForCausalLM和merge_and_unload()方法。通过避免手动权重合并的误区，并正确处理分词器的保存，您可以轻松地创建和部署一个集成了微调知识的独立模型。同时，注意PEFT版本兼容性问题，并在必要时调整配置文件，可以确保整个流程的顺畅执行。

以上就是如何正确合并PEFT LoRA适配器与基础模型的详细内容，更多请关注php中文网其它相关文章！