作者: | LEOSAM |
最后更新: | 2023年7月14日 |
文件类型: | LORA |
基本模型: | SD 1.5 |
tag标签: | 工具 衣服 服装 服饰 调节器 |
模型版本: | ClothingAdjuster 3.0 |
使用介绍
这是一个调节所绘制对象衣物多少的功能性LoRA。通过将LoRA权重从-1.0调节至1.0,可以实现绘制对象衣物的逐步减少。
如何制作与封面示意图类似的gif:
SD 文生图界面下方”脚本”的 “XYZ plot” 里有个“提示词搜索/替换”的选项。可以使用这个功能,以固定间隔从-1 到 1,改变lora模型使用权重。然后SD就可以依次同一提示词下、lora权重渐变的一系列图像。得到这些图像后,可使用ffmpeg工具包或者其他 gif 制作工具,将这些图像制作成 gif 动图。
建议使用controlnet中的openpose功能来固定人物姿态。如果你想进一步固定背景,则需要使用inpaint功能。
如何制作与“Clothing +/- Adjuster”类似的LoRA:
本模型受青龙大佬在此视频中所介绍的第一种方法“复印学习法”启发。我进行了一些改进以实现多张图情况下的批量训练。具体的步骤如下:
步骤一:挑选N组不同人物的状态A与状态B对比图片,并形成状态A图像训练集与状态B图像训练集。保证相同人物的状态A与状态B两张图片的文件名相同。
步骤二:对状态A训练集添加txt标签,每个图片只打一个可以区分不同人物的特殊词汇标签。比如有10个人物,那就给每个人物从jinitaimei1至jinitaimei10分配各自的标签。然后将状态A训练集的所有标签复制粘贴进状态B图像训练集中。
步骤三:选择与训练集画风相近的底模C,使用状态A图像训练集进行Lora训练直至模型过拟合,输入人物N的对应标签后,只能生成人物N的状态A照片。
步骤四:将训练得到的过拟合LoRA模型以1.0的比例融合进底模C中(更新:经进一步测试,勾选上same to strength效果会更好),然后用状态B图像训练集基于新底模进行Lora训练。该训练过程不一定要训练至严重过拟合,可以选择LoRA过程文件进行AI绘图测试,只要能通过调节权重,实现状态A至状态B的过渡即可。(更新:经进一步测试,甜蜜点大概在每张图片400在800步范围内)
步骤五:如果训练的LoRA所涉及场景较复杂,在高权重下会出现过拟合的情况。有两种改良的建议:一是进行LoRA分层调节,降低LoRA中与A/B状态切换无关的层数的权重;二是压缩LoRA的维度,比如从64压缩至4。