ControlNet
2024-06-05 16:03:39 0 举报AI智能生成
Stable diffusion里面的插件使用
作者其他创作
大纲/内容
4、预处理器功能详解
使用时一定要找到和预处理器对应名字一样的模型
本地部署遇到此情况可手动复制下载链接，将模型下载到提示目录即可
Canny 边缘检测-识别出最多的线条，更好还原原图，对二次元照片比较适用
预处理器分辨率（Preprocessor Resolution）
预处理器分辨率数值越高越精细，也越吃显存。但如果数值太低生成的线条也会很粗糙。默认512，具体设置时需根据素材大小和实际情况来做权衡
长和宽的阈值（canny low/high threshold）
这个值越高线条越简单，越低线条越复杂
lineart（线稿）
一个专门提取线稿的模型，可以针对不同类型的图片进行不同的处理
点击选择“Lineart”，预处理器和模型就会自动切换
点击选择“Lineart”，预处理器和模型就会自动切换
动漫：lineart_anime 或 lineart_anime_denoise
输出
高清重绘
lineart
输出
素描:lineart_coarse
输出
黑白线稿：lineart_standard
输出
inpaint(局部重会)
在原图上涂抹需要重绘的部分，加上提示词后可以在保留空白部分重新绘制涂抹部分
OpenPose(姿态检测)
OpenPose 姿态检测可生成图像中角色动作姿态的骨架图，这个骨架图可用于控制生成角色的姿态动作。这个没有涉及手部的骨架，所以手部控制不行有时会出问题
OpenPose 姿态及手部检测解决了姿态检测手的问题。如下图有了手部骨骼控制生成的手部效果会更好
通过控制人物姿势，在人物角色设计时也可以得到很好应用
Depth 深度检测
通过提取原始图片中的深度信息，生成具有原图同样深度结构的深度图，越白的越靠前，越黑的越靠后
MiDaS 深度信息估算
MiDaS 深度信息估算，是用来控制空间距离的，类似生成一张深度图。一般用在较大纵深的风景，可以更好表示纵深的远近关系
LeReS 深度信息估算
LeReS 深度信息估算比 MiDaS 深度信息估算方法的成像焦点在中间景深层，这样的好处是能有更远的景深，且中距离物品边缘成像会更清晰，但近景图像的边缘会比较模糊，具体实战中需用哪个估算方法可根据需要灵活选择
softedge-HED 边缘检测
HED 边缘检测可保留更多柔和的边缘细节，类似手绘效果。
PiDiNet 边缘检测生成的线条较粗壮，类似雕刻效果
MLSD 线条检测
M-LSD 线条检测用于生成房间、直线条的建筑场景效果比较好
Normal Map 法线贴图
Normal Map 法线贴图能根据原始素材生成一张记录凹凸信息的法线贴图，便于AI给图片内容进行更好的光影处理，它比深度模型对于细节的保留更加的精确。法线贴图在游戏制作领域用的较多，常用于贴在低模上模拟高模的复杂光影效果
Scribble 涂鸦
设置画布高度和宽度，一般默认 512x512 就可以了，点击 “Create blank canves” 创建画布，再添加一些提示词描述，控制下生成效果
seg(Segmentation,ADE20k 语义分割，配合seg模型）
语义分割可多通道应用，原理是用颜色把不同类型的对象分割开，让AI能正确识别对象类型和需求生成的区界
参考
https://www.bilibili.com/video/BV1Wg4y1x7Ur/
1、ControlNet是什么？有什么用？
是什么？
对图片进行约束。通过输入条件来控制模型，能利用输入图片（input image）里的边缘特征、深度特征 或 人体姿势的骨架特征（posture skeleton），配合文字 prompt，精确引导图像在 SD里生成结果
解决了什么问题？
很好地解决了文生图大模型无法控制生成图片的细节这个难题
能干嘛？
控制人物姿势
能控制生成的人物的姿势、表情，甚至是每一根手指的骨骼
原图
生图
线稿上色
原图
生图
画质增强
原图
生图
大变活人
原图
生图
2、ControlNet界面
基本界面（canny预处理下界面）
controlnet unit
启用的单元
可以多单元同时启用
启用（Enable）
勾选此选项后，点击 “生成” 按钮时，ControlNet 才会生效
低显存优化（Low VRAM）
低显存模式，如果你的显卡内存小于等于4GB，建议勾选此选项
完美像素模式
自适应预处理器渲染像素
预处理器&模型
预处理器（Preprocessor）
在此列表我们可选择需要的预处理器，每个 ControlNet 的预处理器都有不同的功能
模型（Model）
配套各预处理器需要的专属模型。该列表内的模型必须与预处理选项框内的名称选择一致，才能保证正确生成预期结果。如果预处理与模型不致其实也可以出图，但效果无法预料，且一般效果并不理想。
控制权重
代表使用 ControlNet 生成图片时被应用的权重占比
引导介入时机（Guidance Start(T)）
在理解此功能之前，我们应该先知道生成图片的 Sampling steps 采样步数功能，步数代表生成一张图片要刷新计算多少次，Guidance Start(T) 设置为 0 即代表开始时就介入，默认为 0，设置为 0.5 时即代表 ControlNet 从 50% 步数时开始介入计算。
引导退出时机（Guidance End(T)）
和引导介入时机相对应，如设置为1，则表示在100%计算完时才会退出介入也就是不退出，默认为 1，可调节范围 0-1，如设置为 0.8 时即代表从80% 步数时退出介入
缩放模式（Resize Mode）
用于选择调整图像大小的模式：默认使用（Scale to Fit (Inner Fit)）缩放至合适即可，将会自动适配图片。
一共三个选项：Just Resize，Scale to Fit (Inner Fit)，Envelope (Outer Fit)
一共三个选项：Just Resize，Scale to Fit (Inner Fit)，Envelope (Outer Fit)
画布宽度和高度（Canvas Width 和 Canvas Height）
画布宽高设置，请注意这里的宽高，并不是指 SD 生成图片的图像宽高比。该宽高代表 ControlNet 引导时所使用的控制图像的分辨率，假如你用 SD 生成的图片是 1000x2000 分辨率，那么使用 ControlNet 引导图像时，对显存的消耗将是非常大的；我们可以将引导控制图像的分辨率设置为 500x1000 ，也就是缩放为原本图像一半的分辨率尺寸去进行引导，这有利于节省显存消耗
创建空白画布（Create Blank Canvas）
如果之前使用过 ControlNet 功能，那么将会在 ControlNet 的图像区域留有历史图片，点击该按钮可以清空之前的历史，也就是创建一张空白的画布
预览预处理结果（Preview Annotator Result）
点击该按钮可以预览生成的引导图。例如：如果使用 Canny 作为预处理器，那么点击该按钮之后，可以看到一张通过 Canny 模型提取的边缘线图片
隐藏预处理结果（Hide Annotator Result）
点击该按钮可以隐藏通过 Preview 按钮生成的预览图像窗口（不建议隐藏）
3、预处理器
openpose(姿势）
身体姿势
身体姿势+脸部表情
只有脸部表情
身体姿势+手指+表情
身体姿势+手指
canny(边缘检测）
识别出最多的线条，更好还原原图，对二次元照片比较适用
lineart（线稿）
可以针对不同类型的图片提取线稿
动漫：lineart_anime 或 lineart_anime_denoise
素描:lineart_coarse
写实：lineart_realistic
三转二可能五官比例有问题，可以降低权重尝试效果
黑白线稿：lineart_standard
softedge（软边缘）
只识别大概的轮廓，给SD更多的发挥空间
只想控制构图可选用
MLSD（直线）
只识别直线，用再建筑物设计上
适合还原整体的结构
scribble（涂鸦）
一个成熟的SD是可以根据你的涂鸦和提示词自己去生成图片
depth（深度）
能够很好的复刻房子线条，而且物品的距离镜头的前后顺序比较清晰
还原物品的先后关系
seg（语义分割）
物品种类约束
识别图片不一样的东西，就用不同的颜色表示，需要配合seg色块图使用
shuffle（风格迁移）
将其他图片的画风转移到目标图片
引导介入时机建议设置在0.2~0.3之间
reference（还原）
参考原图的风格或角色，以此基础进行人物或动作修改
normal（法线/沿用）
沿用原图的光影与姿势
T2IA（自适应）
还原原图的颜色
将原图的颜色模糊成马赛克再重新生成图片
提取素描的线稿，生成真人照片（这个不好用，直接用lineart就行）
参考原图风格，生成相似风格的照片
inpaint(局部重会)
消除图片信息
给人物换衣服
ip2p（加特效）
给原图加特效
需要在关键词里面输入：make it.... （让它变成...）
比如让它变成冬天，就输入：make it winter
tile（加细节）
多玩法
恢复画质（tile_resample）：（因为tile模型的工作原理是先忽略掉照片的一些细节，再加上一些细节，不太适合真人还原画质）
涂鸦
真人变动漫
动漫变真人
收藏
0 条评论
下一页
