引言
Stable Diffusion是当前最流行的开源文本到图像生成模型。自2022年首次发布以来，它已经发展成为了一个庞大的生态系统，涵盖模型微调、可控生成和视频生成等多个方向。本文将全面介绍Stable Diffusion的技术原理、使用方法和高级技巧。
扩散模型的核心原理
扩散模型的核心思想源于非平衡态热力学：通过逐步向数据添加噪声，将数据分布转化为简单的高斯分布；然后学习逆转这个过程，从噪声中恢复出原始数据。这个过程被称为”正向扩散”和”反向扩散”，后者就是生成过程。
具体来说，在训练阶段，模型学习预测给定带噪图像上的噪声。这一看似简单的目标实际上迫使模型理解数据的底层结构——从纹理、边缘到高级语义概念。在推理阶段，模型从纯噪声开始，逐步去噪，最终生成清晰的图像。每一轮去噪都由模型预测的噪声引导，并结合分类器自由引导（Classifier-Free Guidance）机制来控制生成内容与文本提示的一致程度。
Stable Diffusion的一个重要创新是在潜在空间中进行扩散过程。通过使用预训练的变分自编码器（VAE），图像首先被压缩到更小的潜在表示空间，扩散和去噪过程在这个潜在空间中进行，最后再通过解码器恢复为像素空间。这大大降低了计算需求，使得在消费级GPU上运行扩散模型成为可能。
模型架构深度剖析
Stable Diffusion的架构由三个核心组件组成。VAE编码器将512×512的图像压缩为64×64的潜在表示，压缩比达到48倍。U-Net是扩散过程的实际执行者，采用编码器-解码器结构，通过跳跃连接保留细节信息。在U-Net中，通过交叉注意力（Cross-Attention）机制，文本嵌入被注入到图像生成过程中，使得文本能够指导图像内容的生成。
文本编码器通常使用CLIP模型的文本分支。CLIP是在大规模图像-文本对上进行对比学习训练的，使得语义相近的图像和文本在向量空间中接近。这一特性使得Stable Diffusion能够理解广泛的文本描述，并生成与之匹配的图像。
提示词工程：从基础到高级
提示词（Prompt）是引导Stable Diffusion生成特定内容的主要手段。一个好的提示词通常包含主题描述、风格指定、质量修饰词和排除项。正面提示词描述想要看到的内容，而负面提示词（Negative Prompt）则指定不希望出现的内容，这对于提高生成质量非常重要。
提示词的权重控制是精细调节生成结果的关键技术。通过使用括号来增加或减少某些词的权重——例如(keyword)增加权重，[keyword]减少权重——可以精确控制各个元素在生成结果中的显著性。使用数字权重如(keyword:1.5)则提供了更精细的控制。提示词的顺序也很重要，越靠前的词通常有越高的优先级。
风格和艺术家的引用可以在很大程度上影响生成图像的视觉风格。引用特定艺术风格如”油画”、”水彩”、”赛博朋克”等，或者引用特定艺术家名字，都能产生鲜明的风格化效果。加入摄影和电影相关的术语如”景深”、”黄金时刻光线”、”电影质感”等，能显著提升图像的视觉效果。
ControlNet与可控生成
ControlNet是Stable Diffusion生态系统中一个革命性的扩展。它允许通过额外的控制输入——如边缘检测图、姿态骨架、深度图或语义分割图——来精确控制生成图像的结构和构图。这使得用户可以从简单的线稿生成精致的插图，根据人体姿态生成特定动作的角色，或者保持输入图像的空间布局而改变其内容。
ControlNet的工作原理是在预训练的Stable Diffusion模型上附加一个可训练的”副本”网络，这个副本网络接收控制信号，并通过零卷积层将控制信息渐进式地注入到原始网络中。这种设计使得训练非常高效，使用相对少量的训练数据就能获得出色的控制效果。
LoRA与模型微调
LoRA（Low-Rank Adaptation）是一种高效的模型微调技术，通过学习低秩矩阵来调整模型的行为。相比于完整的模型微调，LoRA文件通常只有几MB到几十MB大小，但能够教授模型新的概念、角色、风格或物体。多个LoRA可以叠加使用，为生成过程提供极大的灵活性。Dreambooth是另一种微调方法，通过少量图片教会模型新的概念，常用于角色一致性生成。
实践技巧与最佳实践
图片到图片（img2img）功能允许基于已有的图像生成新的变体。通过调整去噪强度参数，可以控制生成结果与原图的相似程度——低强度保留更多原图结构，高强度则允许更多创造性变化。修复（Inpainting）和扩图（Outpainting）功能则分别用于修改图像的特定区域和扩展图像边界。
在高分辨率生成方面，直接生成高分辨率图像容易导致重复图案或解剖错误。更好的做法是先生成较低分辨率的图像，然后使用专门的高清修复（Hi-Res Fix）或放大模型进行提升。这通常结合tile扩散和专门的放大算法，能够生成细节丰富的高质量大图。