大家好,好久不见.由于最近一个月都在研究Wan2.2-I2V模型Lora的创新功能,没有发更多的模型,抱歉.最近终于有了一些研究结果,向大家介绍这个系列的Wan2.2-I2V LoRA,我自己称为ConsistencyLoRA系列.这个系列的LoRA功能是通过输入图像,通过Wan2.2-I2V模型直接生成与输入图像高度一致性的视频.
ProductConsistency是该系列的第三个模型.该模型希望通过直接输入产品的白底图,通过prompt直接生成产品的视频.从我个人测试的来看(推荐强度:high0.9,low0.9,lightning low:1.0).在写好prompt和使用lightning low lora加速的情况下,ProductConsistency的效果很不错
但相较于CarConsistency和ClothConsistency我之前发布的两个Consistency模型,可能因为Wan2.2训练的数据较少,对于广告场景的Prompt的遵循程度比较一般,需要一定程度的PromptEnginering才能得出比较好的结果,还有值得注意的是,不建议写关于商品主体的Prompt(容易产生主体一致性问题),然后在样例中的,我会将产品的类型说明出来(使得T5更理解商品本身的形状,生成更加生动),比如The product is a canned drink/a box of chocolate/a bottle of perfume….因为训练数据中是纯产品视频(没有人的),所以不确定跟人一起的效果
一个样例的Prompt,更多的请看视频的info那里:”Product Consistency. Used the product in the first frame, generate a commercial-quality video of the product. The product is a canned drink.The product is floating in the air in the dark with some neon green light shineing. Suddenly the product is grabed by a huge monster hand. The overall atomsphere is dark and cyberpunk.”
做ConsistencyLoRA系列的LoRA是希望拓宽I2V模型商业应用的场景.ConsistencyLoRA的训练在Wan Fun VACE和Wan Animate发布之前,相比Wan Fun VACE和Wan Animate,ConsistencyLoRA的缺点在于视频有输入图像的前置帧,可以通过帧剪切去除(我上传了CutFrame.ipynb的脚本可以直接去除),然后生成有时候会有模糊情况.
而ConsistencyLoRA优点在于:1.因为是基于Wan I2V工作流,所以简单方便,显存门槛低,各种基于I2V的lora也适用.2.通过Prompt生成,不需要替换视频.Prompt生成的优势在于,可以通过Prompt将画面快速通过T2V实现,不需要进行替换,比如ClothConsistency,通过Prompt可以生成不同族裔,不同肤色,不同身材的模特穿着对应的衣服.且因为不需要替换视频,所以光影会更自然.3.训练成本相对较低,可以对特定的一致性任务进行训练.因为是基于特定任务进行的训练,所以在特定任务上的稳定性也会比Wan Animate和VACE高,比如CarConsistency场景.
因为从LoRA概念,数据集处理,训练和超参调整,都由我一个独立完成.由于4090 24G的显存限制,现在还只能用[360,360]的latent进行训练,所以还是处于原型机阶段,如果效果不太理想,请多谅解和反馈,我争取改进.感谢您能看到这里,该模型商用需要授权(希望能把训练的电费平了,哭).
| 触发词： | Product Consistency. Used the product in the first frame, generate a commercial-quality video of the product. |
| 使用提示： | Strength: 0.9 |
作品参照
同类合集
