这个 lora 的目标是重现类似于动态壁纸的视频风格,对于那些玩英雄联盟的人来说,请记住启动器的打开视频,这就是目标,但你也可以用它来制作你的 lofi 视频:D 尽情享受吧。
[万相I2V 720P版]
这个 LoRA 是使用包含 149 个视频、64 帧的数据集进行训练的,使用的是 Wan 720 I2V 14B 模型。为了进行训练,在 48GB L40S 显卡上使用扩散管训练器,LR:5e-5,分辨率:[244, 480],等级:64,优化器:adamw8bit。
训练了 3 天,测试了各种组合,有字幕、无字幕、有触发器,最后我在 2 天内训练了 50 个 epoch,在 I2V 480P 模型中使用了无字幕的版本,但我认为它可以改进,所以我采用了 epoch 50 的 lora 并开始在 I2V 720P 模型中进行训练,这是一个非常费力的过程(测试过程),但我认为现在的结果令人满意,虽然有很多需要改进的地方,但它是有效的。
使用 720P 型号(1280×720 或 720×1280)可获得更好的质量。
触发词:l1v3w4llp4p3r [您的描述]
注意:如果生成的视频太静态,请尝试在提示中添加:“fast motion, fast movements… more motion”或降低 lora 的强度,强度越高,视频就越慢或越静态。
显然,这个 LoRA 适用于 480P 模型,我现在不知道是不是因为我在 480P 模型上训练了 50 个 epoch 的 LoRA,然后使用这个 LoRA 作为基础来训练 720P 模型的 LoRA,请进行测试。
这个 LoRA 并不完美。如果您的结果产生了很多伪影,请尝试将 LoRA 强度降低到 0.6、0.8 或减小提示大小。不要使用非常大的提示。我通常使用最多 200 个字符的提示。请自行测试。
[混元T2V版]
所使用的数据集包含 529 个视频(每个视频都是手动选择的),分辨率为 1280x720x96,但以 244p 和 72 帧进行训练,其中 64 个暗淡(多个 RTX 4090)。
没有使用任何字幕或激活词,您唯一需要调整的控制是 lora 强度。
另一个重要的注意事项是,它是在完整的块中训练的,我不知道当混合 2 个或更多 lora 时它会如何表现,如果你想混合但没有得到好的结果,请尝试禁用单个块。
我建议使用 lora 强度,最大为 0.2 到 1.2 之间,分辨率为 1280×720 或以 512 生成并稍后升级,最短 3 秒(72 帧 + 1)。
触发词: | l1v3w4llp4p3r |
使用提示: | Strength: 1 |
作品参照
l1v3w4llp4p3r Blonde anime girl sitting on urban steps, leaning back against graffiti-covered walls. Wind slightly ruffles her hair, sun rays shift dynamically, slight breathing motion, live wallpaper effects.
Negative prompt: Overexposure, static, blurred details, subtitles, paintings, pictures, still, overall gray, worst quality, low quality, JPEG compression residue, ugly, mutilated, redundant fingers, poorly painted hands, poorly painted faces, deformed, disfigured, deformed limbs, fused fingers, cluttered background, three legs, a lot of people in the background, upside down
Steps: 20, CFG scale: 6, Sampler: UniPC, Seed: 435462410406428