LoRA 是什么?从低秩矩阵到 AI 视频生成的完整实战指南
LoRA 冻结大模型原有权重,只训练两块很小的低秩矩阵。本文讲清原理、rank 与 alpha,以及它在 Wan、HunyuanVideo、LTX-Video 视频生成里怎么训练和使用。
打开 ComfyUI 的工作流,或者在 Civitai、Hugging Face 找视频模型时,你很快会遇到一堆几十到几百 MB 的 .safetensors 文件。文件名里常带 LoRA,但它们解决的问题并不一样:有的改画风,有的稳定角色,有的学习运镜,还有的把三十多步采样压到四步。
它们共享同一个基本方法。下面先解释 LoRA 的数学结构,再比较它和全量微调、Adapter、Prompt Tuning 的差别,最后把 AI 视频里的数据准备、训练和 ComfyUI 加载流程串起来。
LoRA 改的到底是什么
LoRA 是 Low-Rank Adaptation 的缩写,中文常译为“低秩自适应”。它由微软的 Edward Hu 等人在 2021 年的论文 LoRA: Low-Rank Adaptation of Large Language Models 中提出,最初针对的是 GPT-3 这类大语言模型。IBM 的这篇介绍 用比较通俗的方式解释了同一个思路。
一句话版本:不动原模型,只在旁边挂一个很小的“补丁”,训练时只更新这个补丁。
打个比方。基础模型像一位已经学会画画的画师,全量微调相当于让他从头再上一遍美院;LoRA 则是给他一本很薄的“风格笔记”,画的时候翻着笔记稍微调整手法。笔记可以换,可以叠两本,也可以随时拿掉,画师本人不变。
数学原理:W = W₀ + BA
神经网络里的大部分计算是矩阵乘法。设某一层的预训练权重是 W₀,形状为 d×k。全量微调要学的是一个同样大小的更新量 ΔW。
LoRA 的假设是:适配新任务时,这个 ΔW 其实具有很低的“内在秩”(intrinsic rank)。所以不必直接学 d×k 个数,而是把它拆成两个细长矩阵的乘积:
W = W0 + ΔW = W0 + B·A
B: d × r A: r × k r ≪ min(d, k)
前向计算: h = W0·x + (α / r) · B·A·x
训练时 W₀ 冻结,不计算梯度,只更新 A 和 B。论文里 A 用随机高斯初始化,B 初始化为 0,所以训练刚开始时 BA = 0,模型的输出和原模型完全一样,之后再逐步学到新行为。
算一笔账就知道省在哪里。假设 d = k = 4096,全量更新这一层需要 4096×4096 ≈ 1678 万个参数;取 r = 16 时,A 和 B 加起来只有 2×4096×16 = 131072 个参数,不到原来的 1%。
rank 和 alpha 是什么
rank(r) 决定补丁的“容量”。r 越大,能表达的变化越复杂,文件越大,也越容易记住训练集里的噪声。论文在 GPT-3 上的实验发现,r 取 1 到 4 在他们测试的任务上就已经很有竞争力;但作者也明确说明,小 rank 不保证对所有任务都够用,比如目标任务和预训练数据差别很大时。
alpha(α) 是缩放系数,实际作用在输出上的倍数是 α/r。论文的做法是把 α 固定为第一次尝试的 r 值,这样改变 r 时不用重新调学习率。实践中常见的设置是 alpha 等于 rank,或等于 rank 的一半。Hugging Face PEFT 还提供了 use_rslora=True 选项,把缩放改成 α/√r(rsLoRA),见 PEFT LoRA 文档。
为什么省显存、省存储
论文摘要给出的数据是:与用 Adam 全量微调 GPT-3 175B 相比,LoRA 把可训练参数减少约 10000 倍,GPU 显存需求降为约三分之一,而且在 RoBERTa、DeBERTa、GPT-2、GPT-3 上的效果与全量微调相当或更好。省显存的主要来源是:冻结的参数不需要保存梯度和优化器状态(Adam 要为每个可训练参数额外存两份状态)。
另一个好处是部署。因为 BA 和 W₀ 形状相同,训练完可以直接把 BA 加回 W₀,推理时没有额外延迟;也可以不合并,在同一个基础模型上随时切换不同的 LoRA 文件。
LoRA 和其他微调方法的区别
- 全量微调(Full Fine-tuning):更新全部参数,效果上限最高,但每个任务都得保存一份完整模型,显存和存储成本都最高。
- Adapter:在网络层之间插入新的小模块。参数也少,但这些模块串联在计算路径里,推理时会增加一点延迟,LoRA 论文专门比较过这一点。
- Prompt Tuning / Prefix Tuning:不改权重,而是学习一段“软提示”向量拼在输入前。参数极少,但会占用序列长度,在复杂任务上通常不如 LoRA 稳定。
- QLoRA:Dettmers 等人 2023 年提出,把冻结的基础模型量化到 4-bit(NF4),在上面训练 LoRA。论文展示了在单张 48GB GPU 上微调 65B 模型。
- DoRA:Weight-Decomposed Low-Rank Adaptation,把权重拆成“幅度”和“方向”两部分,方向用 LoRA 学,幅度单独学。在 PEFT 里只要设置
use_dora=True。 - LoHa、LoKr、LoCon 等:来自 LyCORIS 项目的变体,用 Hadamard 积、Kronecker 积等不同方式做低秩分解,在图像社区很常见。按 ComfyUI 官方文档,这些变体在 ComfyUI 里的加载方式和普通 LoRA 相同。
为什么图像和视频社区偏爱 LoRA
LoRA 最早为语言模型设计,但它真正“出圈”是在 Stable Diffusion 社区。PEFT 文档里也写到,LoRA 因为高效,已经成为扩散模型非常流行的训练方式。原因很直接:
- 视频模型动辄 5B、14B 参数,普通人和小团队很难做全量微调,LoRA 让一张 24GB 级别的消费级显卡也有机会参与。
- 一个 LoRA 文件通常几十到几百 MB,分享和下载远比完整模型方便。
- 同一个基础模型可以搭配无数 LoRA,并且可以按需叠加、调节强度。
AI 视频生成里 LoRA 的几种用法
风格 LoRA
把视频统一成某种视觉风格,比如胶片颗粒、黏土动画、某种插画质感、特定调色。这类 LoRA 用图片数据也能训练出不错的效果,因为风格主要体现在单帧画面上。
角色与身份一致性 LoRA
视频生成里最常见的痛点是“同一个人换个镜头就不像了”。用同一角色在不同角度、光线、表情下的图片或短片训练 LoRA,再在提示词里加上训练时用的触发词(trigger word),可以让角色在多个镜头里保持一致。这也是做系列短剧、品牌 IP 角色时最常用的方式。
运动与镜头 LoRA
这是视频独有的一类:教模型学会某种动作或运镜,比如 360 度环绕、推拉变焦、某种舞蹈动作、特效转场。因为要学的是“随时间的变化”,这类 LoRA 必须用视频片段训练,单张图片学不会运动。
加速(蒸馏)LoRA
这一类近一年非常热门。像 lightx2v 发布的 Wan 步数蒸馏 LoRA、基于 CausVid 思路提取的 LoRA,可以让原本需要几十步采样的 Wan 模型在 4 到 8 步、CFG 设为 1 的条件下出片,生成时间大幅缩短。代价是部分场景下动作幅度可能变小,画面细节也可能不如完整步数。
I2V 与 T2V LoRA
文生视频(T2V)和图生视频(I2V)通常是不同的模型权重。以 Wan 2.2 为例,A14B 系列分别有 T2V 和 I2V 版本,而且采用 MoE 结构,分为高噪声专家(负责前期的结构和运动)和低噪声专家(负责后期细节)。所以 Wan 2.2 的 LoRA 经常以“high / low”两份文件成对发布,分别挂到两个模型分支上。用 T2V 训练的 LoRA 放在 I2V 模型上,往往效果不对或直接报错,下载前一定要看清它对应的模型版本。
训练视频 LoRA 时,真正要准备什么
准备数据集
- 数量:社区经验里,角色或风格 LoRA 常见几十张图片或十几到几十段短片起步;质量和多样性比数量更重要。
- 片段长度与帧数:Wan 系列的帧数遵循 4n+1 规则,如 33、49、81 帧(81 帧是 Wan 官方常用设置)。LTX-Video 官方训练器使用类似
768x768x49的“宽×高×帧数”分桶写法。 - 字幕(caption):每张图或每段视频配一个同名
.txt描述文件。运动 LoRA 要把动作和运镜写清楚;角色 LoRA 要统一使用一个触发词,比如jw_girl。 - 清洗:去掉水印、字幕、黑边和剧烈转场;人物数据集尽量覆盖不同角度和光线,避免全是同一个背景。
LTX-Video-Trainer 的自动流水线把这些步骤串在了一起:切分场景、用 Qwen-2.5-VL 自动打字幕、预计算 latent 和文本嵌入、训练,最后把 LoRA 转成 ComfyUI 格式。
选择训练工具
- diffusers + PEFT:Hugging Face 官方生态,适合想写代码、自定义训练循环的人。
- musubi-tuner:kohya-ss 出品,支持 HunyuanVideo、Wan、FramePack 等视频模型的 LoRA 训练。
- diffusion-pipe:基于 DeepSpeed 的流水线并行训练器,支持 HunyuanVideo、Wan、LTX-Video、Flux、SDXL 等,用 TOML 配置文件。
- ai-toolkit:ostris 开发,带 Web UI,支持 Wan 2.x,Wan 2.2 的高低噪声双模型训练在界面上可以直接选择。
- kohya sd-scripts:图像 LoRA 的老牌工具,SDXL、Flux 时代用得非常多。
关键超参数怎么起步
下面是社区教程里常见的起点,不是官方基准,只适合当第一次尝试的参考:
- rank:16 到 32;简单风格 8 到 16 就可能够用。
- alpha:等于 rank,或 rank 的一半。
- 学习率:1e-4 附近;人物身份类有人会降到 5e-5 左右,避免皮肤变得塑料感。
- 步数:几千步以内,并且每隔一段保存一次检查点,挑效果最好的那个,而不是一定用最后一个。
- batch size:显存紧张时常用 1,再用梯度累积补。
显存需求
视频 LoRA 训练比图片重得多,因为每个样本是多帧 latent。14B 级别的模型在 24GB 显卡上通常需要借助 fp8 或更低精度量化、block swap(把部分层临时换到内存)、缓存文本嵌入、降低训练分辨率等手段;显存更大的卡(如 48GB、80GB)能训练更长的片段和更高分辨率。算力不够时,按小时租云 GPU 往往比硬扛更省时间。
在 ComfyUI 里使用 LoRA
- 把
.safetensors文件放进ComfyUI/models/loras/。 - 图像模型常用
Load LoRA(LoraLoader)节点,它同时修改扩散模型和文本编码器,有strength_model和strength_clip两个强度。 - 视频模型(Wan、HunyuanVideo、LTX-Video)的 LoRA 通常只作用于扩散模型,所以更常用
LoraLoaderModelOnly节点,只有一个strength_model。 - Wan 2.2 A14B 的工作流里有高噪声和低噪声两个模型,需要两个
LoraLoaderModelOnly,分别加载 high 和 low 版本的 LoRA,再接到对应的采样器。 - 提示词里写上训练时用的触发词或同类描述。
强度:多数 LoRA 在 0.6 到 1.0 之间效果比较自然。强度太高容易出现画面崩坏、颜色过饱和、动作僵硬;太低则几乎看不出效果。
叠加多个 LoRA:节点可以串联,比如“加速 LoRA + 角色 LoRA + 运镜 LoRA”。叠加时一般要把各自强度适当调低,因为它们的效果会相加,彼此也可能冲突。
合并:确定了一套固定组合后,可以把 LoRA 合并进基础模型权重(ComfyUI 里可以保存合并后的模型,PEFT 里用 merge_and_unload()),推理时省去额外开销,但就失去了随时调强度、拆卸的灵活性。
代码示例:PEFT 与 diffusers
用 PEFT 给模型加 LoRA,核心只有几行:
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=16, # rank
lora_alpha=16, # 缩放系数,实际倍数 alpha / r
lora_dropout=0.05,
target_modules=["to_q", "to_k", "to_v", "to_out.0"], # 注意力层,名称取决于具体模型
)
model = get_peft_model(model, config)
model.print_trainable_parameters()
用 diffusers 加载现成的 LoRA 做推理(以 Wan 为例,仓库名和文件名请替换成你实际使用的):
import torch
from diffusers import WanPipeline
pipe = WanPipeline.from_pretrained(
"Wan-AI/Wan2.1-T2V-1.3B-Diffusers", torch_dtype=torch.bfloat16
).to("cuda")
pipe.load_lora_weights("your-name/your-wan-lora", weight_name="style.safetensors", adapter_name="style")
pipe.set_adapters(["style"], adapter_weights=[0.8]) # 相当于 ComfyUI 的强度
video = pipe(prompt="jw_style, a cat walking on a rainy street at night", num_frames=81).frames[0]
set_adapters 可以同时传入多个 adapter 和各自的权重,就是代码版的“叠加 LoRA”。具体接口以 diffusers 的 LoRA 推理文档 为准。
最容易踩的坑
- 过拟合:训练太久或数据太单一,LoRA 会把训练集里的背景、衣服、构图都“刻”进去,换个提示词也甩不掉。解决方式是多存检查点、增加数据多样性、降低学习率或步数。
- 强度过高:生成结果出现伪影、闪烁、动作僵硬时,先把强度降到 0.6 到 0.8 试试。
- 基础模型版本不匹配:Wan 2.1 与 2.2、5B 与 14B、T2V 与 I2V、HunyuanVideo 与 HunyuanVideo 1.5 的 LoRA 一般不能混用。报“key 不匹配”或效果全无时,第一件事是核对版本。
- 加速 LoRA 的取舍:步数少了,动作幅度和细节可能打折扣,重要镜头可以用完整步数再跑一遍。
- 授权与伦理:先看基础模型的许可证(例如 Wan 系列采用 Apache-2.0,其他模型可能有商用限制),也要确认训练素材的版权。用真人肖像训练角色 LoRA 必须取得本人同意,不要用来做冒充、误导或侵犯隐私的内容。
常见问题
LoRA 和完整模型(checkpoint)有什么区别? checkpoint 是完整权重,可以单独使用;LoRA 只是“补丁”,必须挂在对应的基础模型上才能工作。
rank 越大越好吗? 不是。rank 越大容量越大、文件越大,也更容易过拟合。大部分风格和角色 LoRA 用 16 到 32 就够,先从小的试。
没有高端显卡能玩 LoRA 吗? 使用别人训练好的 LoRA,只要能跑基础模型就能用。训练视频 LoRA 对显存要求较高,可以先拿图片数据训练风格或角色,或者租用云 GPU。
为什么下载的 LoRA 没效果? 常见原因有三个:基础模型版本不对,没写触发词,强度太低。另外 Wan 2.2 的 high/low LoRA 要分别挂到两个分支上。
LoRA 能用于大语言模型吗? 可以,这本来就是它的出发点。PEFT 加上 QLoRA,是现在在单卡上微调开源大语言模型最常见的方案之一。
我的看法
LoRA 的意义不只是“省显存”。它把“定制一个大模型”这件事从训练一个新模型,变成了分发一个小文件。对视频创作来说,这意味着风格、角色、运镜、速度都可以变成可以组合的模块。我会建议刚入门的人先别急着训练:在 ComfyUI 里用现成的加速 LoRA 和一个风格 LoRA 跑通 Wan 的工作流,搞清强度和版本的规律,再用 20 段左右自己拍的短片训练第一个运镜或角色 LoRA。真正决定效果的,往往是数据和字幕,而不是参数。
