精译导读:SDXL 写实 LoRA 数据与分辨率经验(面向园林数据集)
站内已有「开训前先列清单」:自己训小场景 LoRA 前,先列一份数据清单。那篇偏你要准备什么材料。这篇互补:把英文作者 jiwenji 总结的「训了十多个 SDXL 写实 LoRA 之后的经验」,压缩成园林小场景数据集能用的要点——分辨率、张数、打标、学习率量级。不重复那份清单的勾选表。
原文在强调什么
原标题:SDXL Photorealistic LoRA tips: Reflections on training and releasing 10 different models
作者:jiwenji · 归档页:CivArchive
链接:https://civarchive.com/articles/3701/sdxl-photorealistic-lora-tips-reflections-on-training-and-releasing-10-different-models
发表标注:2024-03-14
大意:SDXL 的 LoRA 上限更高,但对数据更挑;按 SD1.5 的老习惯硬搬,容易训糊。
以下为教育向摘要,不是逐步复现教程,也不是官方训练手册。
1)打标:作者更认 ViT-g 系
作者认为 SDXL 对错误标签更敏感,自动打标倾向使用与 SDXL 开发相关的 ViT-g-14-laion2B-s34B-b88K 一类 interrogator(具体扩展名与安装以你使用的训练/WebUI 生态为准;原文提 A1111 的 clip-interrogator 扩展)。
园林落地建议:
- 自动打标后再人工扫一眼:路、驳岸、景墙、铺装别被标成室内家具
- 触发词、场地类型(courtyard / waterfront / park)自己钉死,别全靠自动
- 植物:只用中文通用名或站内植物库已有种;不要为了「专业」编拉丁名进 caption
2)分辨率与张数(对园林最有用的两句)
据原文经验:
- SDXL 按 1024×1024 量级训练;素材最短边尽量到 1024,竖图常见约 1024×1536,横图约 1536×1024
- 把旧的 SD1.5 小图硬放大也能训,但质量会掉一截
- 张数:作者建议至少约 30 张有差异的图,更稳妥凑到约 50;太少容易「漏权重」(不相关特征老往外冒)
园林小场景怎么理解「多样」:
| 要覆盖 | 例子 |
|---|---|
| 机位 | 人视、半鸟瞰、局部材质特写(比例自定,别只收一种) |
| 光照 | 阴天、清晨、傍晚——别全是同一时刻手机滤镜 |
| 主题一致 | 都是「某类铺装庭院」或「某类滨水栈道」,不要一张苏州园林一张欧式喷泉硬凑 |
许可与自拍/项目图授权,仍按站内数据清单篇处理。
3)学习率与网络维度(量级,不是配方)
作者给出的量级概念(原文数字,训练前请对照你的工具默认值):
- 姿态/概念类学习率可高至约 0.0012,步数相对少(原文写 <2000 量级)
- 主体 likeness 可低至约 2e-6,步数更多
- 网络 rank:likeness 偏高(如 64/128/256),风格/概念偏低(如 16/32);取 2 的幂;alpha 作者习惯为 1
- 调度/优化器:作者称 Constant + AdamW8Bit 较稳
园林「某铺装风格 / 某鸟瞰构图」更接近 style/concept,不要一上来按人脸 likeness 那套高 rank 猛堆。具体以你的训练脚本为准,这里只传达「别用错量级」。
4)正则图、采样提示、敢推倒重来
- 正则图:作者认为对 likeness 很有用,对别的类别没那么必要。训「某个真实庭院写真」才优先考虑;训「彩平风格」通常不是第一优先。
- 训练中多样本提示:从 2~4 张训练图的 caption 原样拿来做 sample;同 seed、同 CFG、同分辨率;不设负向。用来看有没有过拟合、标签脏不脏。
- 样本烂就停:删掉该轮 epoch,改设置重开;留着旧样本对比。别指望靠提示词硬救一个训坏的 LoRA。
从 SDXL 迁回 SD1.5:作者称可把训练图边长约减半再按 SD1.5 设置训,结果不如 SDXL,但比反向迁移省事。
和站内清单怎么分工
| 问题 | 读哪篇 |
|---|---|
| 角度、许可、文件夹怎么列 | 数据清单 |
| SDXL 分辨率/张数/打标量级 | 本篇 |
| 训完怎么挂、怎么叠 | 选叠景观 LoRA |
出处
- 原标题:SDXL Photorealistic LoRA tips: Reflections on training and releasing 10 different models
- 作者:jiwenji
- 链接:https://civarchive.com/articles/3701/sdxl-photorealistic-lora-tips-reflections-on-training-and-releasing-10-different-models
- 本站教育向中文整理,非官方译本。 摘要非逐步训练手册;工具与默认超参会变化,请对照原文与你使用的训练程序。
读完这篇,你应该能:在开训园林小场景前,先定「最短边 ≥1024、大约 30~50 张、打标要人工扫」,并知道概念类与 likeness 的超参量级不同。
暂无评论,来说说你的想法吧!