Don't have time to read? Jump straight in to creating! Try Multic Free
14 min read

ControlNet教程:完整指南

掌握ControlNet,精确控制AI图像生成。学习姿态、深度、边缘检测等技术,适用于SDXL和Stable Diffusion。

ControlNet通过将输出条件化于参考图像,实现对AI图像生成的精确控制。它是保持姿态一致性、构图控制和满足特定需求的必备工具。

什么是ControlNet?

ControlNet为扩散模型添加视觉条件。除了文本提示词之外,你还可以提供引导生成的参考图像:

  • 姿态参考,用于角色定位
  • 深度图,用于空间关系
  • 边缘检测,用于构图
  • 语义分割,用于布局

ControlNet类型

OpenPose

提取并应用人体姿态。

使用场景:角色姿态、动作场景、保持一致的定位。

输入:含人物的图像 → 提取骨骼 → 应用到生成。

Depth(深度)

捕捉空间关系。

使用场景:环境一致性、正确的层次感、3D感知生成。

输入:图像 → 深度图 → 空间引导。

Canny Edge(边缘检测)

检测边缘用于构图。

使用场景:草图转化、保持布局、线条引导生成。

输入:图像 → 边缘检测 → 构图引导。

Scribble(涂鸦)

使用粗略手绘作为引导。

使用场景:快速概念设计、手绘引导、松散构图。

输入:草图/涂鸦 → 解析引导。

Lineart(线稿)

清晰的线条检测,适用于插画。

使用场景:漫画/动漫、插画、清晰线条保留。

输入:线稿 → 精确线条引导。

Segmentation(语义分割)

语义场景理解。

使用场景:布局控制、场景构图、元素放置。

输入:图像 → 分割图 → 语义引导。

安装指南

ComfyUI安装

  1. 安装ControlNet节点
  2. 下载ControlNet模型
  3. 放入models/controlnet文件夹
  4. 连接预处理器 → ControlNet → KSampler

Automatic1111安装

  1. 安装ControlNet扩展
  2. 下载模型到models/ControlNet
  3. 在设置中启用
  4. 在txt2img/img2img中使用ControlNet面板

模型选择

ControlNetSDXL模型SD 1.5模型
OpenPosecontrolnet-openpose-sdxlcontrol_v11p_sd15_openpose
Depthcontrolnet-depth-sdxlcontrol_v11f1p_sd15_depth
Cannycontrolnet-canny-sdxlcontrol_v11p_sd15_canny
Scribblecontrolnet-scribble-sdxlcontrol_v11p_sd15_scribble

进阶技巧

多重ControlNet

组合使用多种控制类型:

OpenPose (0.7) + Depth (0.5) = 带有正确深度的定位角色

控制权重

调整影响强度:

  • 0.3-0.5:松散引导
  • 0.6-0.8:平衡控制
  • 0.9-1.0:严格遵循

起始/结束步数

控制ControlNet在生成过程中的影响时机:

  • 前期步骤:影响构图
  • 后期步骤:影响细节

IP-Adapter

使用参考图像进行风格/概念迁移:

  • 面部一致性
  • 风格匹配
  • 角色参考

工作流示例

一致的角色姿态

  1. 生成或找到参考姿态
  2. 提取OpenPose骨骼
  3. 用相同姿态生成新图像
  4. 不同提示词,相同定位

场景构图

  1. 画出粗略布局
  2. 使用Scribble ControlNet
  3. 生成详细场景
  4. 保持预期构图

深度一致的环境

  1. 生成或创建基础场景
  2. 提取深度图
  3. 生成变体
  4. 保持空间关系

为什么Multic简化了ControlNet

ControlNet实现一致性。Multic让一致性自动化:

角色系统:无需手动配置ControlNet即可保持角色一致。

场景连续性:跨分格保持一致的环境。

集成工作流:无需在外部工具之间切换。

故事导向:叙事工具替代技术配置。

需求ControlNet + ComfyUIMultic
姿态控制手动配置自动
角色一致性ControlNet + LoRA内置
漫画创作外部组装集成
视觉小说手动工作流原生支持
学习曲线陡峭平缓

推荐建议

ControlNet是精确生成控制的强大工具。在以下场景值得掌握:

  • 精确的姿态要求
  • 构图控制
  • 专业级工作流

对于一致性最为重要的故事创作,考虑一下手动配置ControlNet是否符合你的目标,还是Multic的集成一致性工具能提供更高效的工作流。


相关阅读:SDXL LoRA指南Flux vs SDXL