StableDiffusion

2024-02-28 09:34:13   4  举报





StableDiffusion是一种基于深度学习的图像生成技术，它通过在潜在空间中进行扩散过程来生成逼真的图像。与传统的GAN（生成对抗网络）不同，StableDiffusion不需要明确的条件输入，而是直接从随机噪声开始生成图像。这使得它具有更高的灵活性和可控性，可以生成各种风格和类型的图像。此外，StableDiffusion还具有较低的计算复杂度和内存需求，使其在实际应用中具有广泛的应用前景。总之，StableDiffusion是一种高效、灵活且易于使用的图像生成技术，为计算机视觉领域的研究和应用提供了新的可能性。

作者其他创作

大纲/内容

底层运行方式

提示词

正面提示词后添加：
(masterpiece:1,2), best quality, masterpiece, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,
负面提示词后添加：
NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
*广泛适用于二次元风格，可以考虑搭配不同模型使用！

配置参数

迭代步数 20左右

提示词相关性 7 - 12

提示词网站

civitai.com

ai.dawnmark.cn

openart.ai

arthub.ai

AI绘画模型

大模型

VAE : 变分自解码器；负责将加噪后的潜空间数据转化为正常的图像

civitai.com 、huggingface.co

二次元模型：

模型关键词：illustration,painting,sketch,drawing,painting,comic,anime,catoon

常用模型：Anything V5 、Counterfeit V2.5 、Dreamlike diffusion、DreamShaper、深渊橘

真实系模型：

模型关键词：photography,photo,realistic,photorealistic,RWA photo

常用模型：Deliberate、Realistic Version、L.O.F.I

真人面孔模型

MajicMix Realistic V4&V6 Dream Shaper V5&V7 （Absolute reality 模型）

2.5D模型：

模型关键词：3D, render, chibi,digital art, concept art , {realistic}

常用模型：Never Ending Dream(NED)、Protogen(Realistic)、国风3

小模型

Embeddings（词嵌入）：描绘特定对象（效果较为基础），描述通用概念，负面词嵌入优化

AgeSlider / GenderSlider 控制年龄、性别

LoRa（低秩适应模型 Low-Rank Adaptation Models）：描绘特定对象，描绘通用概念、整体画风

Cute Girl Mix 、Fashion Girl 美颜Lora esheep网站

LEOSAM胶片风与拍立得摄影Lora

Detail Tweaker Lora 细节控制

Hypernetwork（超网络）：描绘整体画风

高清修复优化细节

高清修复（Hi-Res Fix）

SD放大（SD Upscale）

附加功能放大算法

局部重绘

蒙版模糊：决定了重绘区域边缘和其他部分是如何接触的，羽化概念，10以下

局部重绘、局部重绘（手涂蒙版）、局部重绘（上传蒙版）

扩展插件 Extendsion

中文语言包：实现基础的界面汉化

图库浏览器：方便浏览作品，进行多种查询和管理

Tag Autocompletion：实现提示词的补全和翻译

Tagger：实现提示词高效精确反推

Ultimate SD Upscale：图生图放大脚本“上位替代”

Local Latent Couple（LLul）：局部添加细节

Cutoff:提示词的描述成分分离控制

Infinite Zoom：生成趣味无限缩放视频

Civitai-Helper 一键同步模型预览图

AfterDetailer 面部手部重绘加工

Lora 低秩适应模型 Low-Rank Adaptation Models

描绘特定对象人物角色形象，描绘通用概念、整体画风、服饰、物体/特定元素

Additional Networks 插件：通过界面选择LoRA模型及权重

ControlNet 实现任务姿势、场景构图的精确控制，控制网

控制，微调，额外网络

预处理器---》ControlNet模型，控制扩散走向--》根据扩散模型生成图片

模型

多重ControlNet

Mov2Mov实现AI动画

超高清放大

Tiled-Diffusion & Tiled-VAE

方案：Multi-Diffusion

配置

AI二维码+艺术字+光影光效+创意Logo生成

ControlNet 预处理器&模型组合

权重&引导时机

图片融字模型

二维码生成模型 Controlnet QR Code Monster V2

ControlNet LineArt模型线稿上色换装换背景

ControlNet IP-Adapter 模型，实现画面风格的迁移

InPaint 模型局部重绘

RemoveBackground 插件，自动去除背景

高清照片修复

ControlNet Tile

StableSR 高清修复脚本 Recolor 重新上色模型

人物写真

EasyPhoto插件

插件训练参数

训练原理

推理原理

提示词

人像正面提示词：close-up, portrait, detailed face, delicate face, true skin texture,

高清摄影作品：best quality, masterpiece, (photorealistic:1.2),. 35mm photograph, professional, 4k, highly detailed
最好的质量，杰作，逼真的，.35mm照片，专业，4k，非常详细

电影感（带景深虚化）：cinematic photo, cinematic light, film, depth of field, blurry background, bokeh, gloom,
电影照片，电影光，胶片，景深，背景模糊，散景，阴郁

唯美写真：soft light, warm color, light leak, film photography, old-school 35mm film, filmg,
柔光、暖色、漏光、胶片摄影、老派35mm胶片、胶片

黑白摄影：black and white, monochrome, ( high contrast:1.5), light and shadow, film grain, vignetting, black and white photograph, exposure blend, hdr,
黑白，单色，(高对比度:1.5)，光影，胶片颗粒，晕影，黑白照片，曝光混合，HDR，

艺术摄影：beautiful and aesthetic, vivid color, dramatic lights, dynamic angle, romanticism, multicolored background,
富有审美价值，色彩生动，灯光戏剧性，角度动感，浪漫主义，背景五彩缤纷