AI 绘画整体认知
2022-12-05 16:23:32 0 举报AI智能生成
AI 绘画整体认知
作者其他创作
大纲/内容
发展时间线
1、一群研究员开始尝试用文本生成图像（2015年）
2、DALL-E（2021年1月）
OpenAI 宣布了 dalle，他们声称可以从任何文字中创建图像
3、开源社区训练自己的AI生成器（2021->）
开源社区基于 Google Colab，根据现有的所有已知的技术模型，制作各种各样的开源文本图像生成器。
大多生成的图像非常抽象，像素也比较低
4、Disco Diffusion（2022年2月）
发布于 Google Colab 平台的一款利用人工智能深度学习进行数字艺术创作的工具，它是基于MIT 许可协议的开源工具
可以在Google Drive 直接运行，也可以部署到本地运行
可以在Google Drive 直接运行，也可以部署到本地运行
缺点：速度非常慢，动辄 半个小时起步
5、DALL-E 2（2022年4月）
OpenAI 推出 DALL-E 2 实现了更高分辨率和更低延迟，而且还包括了新的功能，如编辑现有图像。
官网：https://openai.com/dall-e-2/
优点：生成内容近乎完美，难以区分是人类还是AI作品
缺点：未公开算法和模型、需要体验资格且通过率很低、有很多限制（死亡，色情，人脸，暴力，公众的人物等。为了防止作恶/犯罪）
6、Stable Diffusion（2022年7月）
stability.ai（一个年轻的英国团队） 推出 Stable Diffusion 并且开源
优点：图像媲美 dalle2 精度、开源、免费、操作简单，生成速度快（平均10-20秒）
使用已有的AI绘画云平台
（目前国内外有很多）
（这里只举几例）
（目前国内外有很多）
（这里只举几例）
优点：在线（无需技术背景，注册即可使用）
基于 Disco Diffusion
1、Midjourney（2022年3月内测，5月Beta版）
官网：https://www.midjourney.com/
由 Disco Diffusion 的核心开放人员参与开发的AI生成器
介绍：
它是一款搭载在discord上的聊天机器人程序，不需要之前繁琐的操作，也没有DD十分复杂的参数调节，你只需要向mid输入文字就可以生成图像。
而且mid的模型更加的精准，dd只能生成抽象的风景，但是mid在人像上也能表现的比较好。
它是一个社区形式的产品。跟DD每个人都是独立创作不同，在mid上所有人的作品都是公开的，你用的提示词和相关的作品都是对社区里所有人可见的，你再也不需要问其他人这幅画用了什么提示词？这个特性让社区每天都不断的涌现越来越多优秀的作品和创意，每个人都可以尽情的学习他人的作品。
它是一款搭载在discord上的聊天机器人程序，不需要之前繁琐的操作，也没有DD十分复杂的参数调节，你只需要向mid输入文字就可以生成图像。
而且mid的模型更加的精准，dd只能生成抽象的风景，但是mid在人像上也能表现的比较好。
它是一个社区形式的产品。跟DD每个人都是独立创作不同，在mid上所有人的作品都是公开的，你用的提示词和相关的作品都是对社区里所有人可见的，你再也不需要问其他人这幅画用了什么提示词？这个特性让社区每天都不断的涌现越来越多优秀的作品和创意，每个人都可以尽情的学习他人的作品。
特点：速度快（改进了 Disco Diffusion，平均1分钟能出图）
限制：使用限制（免费版用户每月有限定的使用次数，付费版用户每个月需支付 30 美元）
基于 Dall-E 2
1、试用
官网：https://labs.openai.com/
缺点：无额外配置参数
基于 Stable Diffusion
1、DreamStudio（2022年8月开放测试）
官网：https://beta.dreamstudio.ai/dream
Stable Diffusion 官方 搭建的平台
限制：使用限制（需要积分，1000积分/10$，若为默认设置，可生成约5000张图，注册实际赠送了100积分）
自己部署必须了解
Google Colab
官网：https://colab.research.google.com/
Google Colab 是一个在线的 Jupyter Notebook 环境，提供免费的 Python 环境，可以在上面运行 Python 代码，并在 Google 的云端进行计算。因此，AI 开发者可以使用 Google Colab 来进行机器学习和数据科学等相关领域的研究和开发。
例如，AI 开发者可以在 Google Colab 上安装必要的 Python 库，并导入数据集，进行数据预处理和探索性分析。然后，可以在 Google Colab 上实现并训练机器学习模型，并使用 TensorBoard 等工具进行模型可视化。最后，可以在 Google Colab 上对模型进行评估和优化，并将模型部署到产品中。
此外，AI 开发者还可以在 Google Colab 上进行论文代码的复现和实验，或者利用 Google Colab 的云端计算能力，对大型数据集进行处理和分析。总的来说，Google Colab 为 AI 开发者提供了一个方便、快捷的编程环境，可以更快速、更高效地进行机器学习项目的开发。
例如，AI 开发者可以在 Google Colab 上安装必要的 Python 库，并导入数据集，进行数据预处理和探索性分析。然后，可以在 Google Colab 上实现并训练机器学习模型，并使用 TensorBoard 等工具进行模型可视化。最后，可以在 Google Colab 上对模型进行评估和优化，并将模型部署到产品中。
此外，AI 开发者还可以在 Google Colab 上进行论文代码的复现和实验，或者利用 Google Colab 的云端计算能力，对大型数据集进行处理和分析。总的来说，Google Colab 为 AI 开发者提供了一个方便、快捷的编程环境，可以更快速、更高效地进行机器学习项目的开发。
简单点说：使开发者可在浏览器中编写、记录和执行 Python 代码，并可利用免费的 GPU 进行 AI 模型训练等计算操作。
“免费”：是有使用量限额的，超出后需要等一段时间才能再用。或者 购买 Pro 版本 $9.9/月。
Jupyter Notebook
Jupyter Notebook 是一种交互式计算环境，它允许您在一个文档中编写和执行代码，并在同一文档中添加文本、数学方程式、图形和其他内容。您可以在 Jupyter Notebook 中使用多种编程语言，包括 Python、R、Julia 和许多其他语言。Jupyter Notebook 的文档格式称为“笔记本”，可以用于数据清洗、计算和可视化，并且可以在不同的应用程序之间共享。Jupyter Notebook 为您提供了一个灵活的开发环境，您可以使用它来探索数据、开发机器学习模型和进行其他类型的数据分析工作。
Google Colab 是一个在线的 Jupyter Notebook 环境。
.ipynb 文件
.ipynb 是一种文件扩展名，它表示这是一个Jupyter Notebook文件。
.ipynb 文件可以通过 Jupyter Notebook 软件打开，并且可以通过导出为其他格式（如HTML、PDF等）来分享和发布。
.ipynb 文件可以通过 Jupyter Notebook 软件打开，并且可以通过导出为其他格式（如HTML、PDF等）来分享和发布。
用户可以通过 Google Colab 打开 .ipynb 文件，并在云端进行编辑和运行。用户可以在 Google Colab 中创建新的 .ipynb 文件，或者将已有的 .ipynb 文件上传到 Google Colab 中进行编辑和运行。
用户还可以通过 Google Colab 将 .ipynb 文件保存到 Google Drive 或其他云存储服务中，以便在其他地方继续编辑和运行。
用户还可以通过 Google Colab 将 .ipynb 文件保存到 Google Drive 或其他云存储服务中，以便在其他地方继续编辑和运行。
Hugging face
官网：https://huggingface.co/
Hugging face 是一家总部位于纽约的聊天机器人初创服务商，开发的应用在青少年中颇受欢迎，在上面存储了大量的 AI 模型。
模型是什么？需要了解AI领域的一些概念
模型、参数、架构、（模型）训练过程、训练数据、（模型）推理过程、微调技术等
几个重要作者机构/公司/单位
StabilityAI、Runway ML、CompVis，都是 Stable Diffusion 参与者，似乎有版权纠纷
相关模型地址
Stable Diffusion 1.4（CompVis）
https://huggingface.co/CompVis/stable-diffusion-v1-4
Stable Diffusion 1.5（runwayml）
https://huggingface.co/runwayml/stable-diffusion-v1-5
Stable Diffusion 2（stabilityai）
https://huggingface.co/stabilityai/stable-diffusion-2
novelAI（官方似乎并未开源）（直接下载地址）
https://huggingface.co/acheong08/secretAI/resolve/main/stableckpt/animefull-final-pruned/model.ckpt
通常，自己部署下载模型时，需要输入 token（点击头像/Settings/Access Tokens/）
AI 绘画 webui
概念
AI 绘画中的 webui 是指将人工智能绘画技术应用到网页应用程序中的一种技术。它通常使用机器学习技术，例如神经网络，来学习如何进行绘制。用户可以通过在网页上绘制或输入文字来启动 AI 绘画功能，人工智能系统将根据用户的输入自动生成绘画。这种技术可以帮助人们快速创作绘画，也可以用来探索人工智能在艺术领域的应用。
开源方案
Disco Diffusion 相关
https://github.com/alembics/disco-diffusion（官方）（可在 Google Colab 中选择 Github 输入链接部署）
Stable Diffusion 相关
https://github.com/CompVis/stable-diffusion（官方）（可在 Google Colab 中选择 Github 输入链接部署）
https://github.com/Sygil-Dev/sygil-webui（含一些上层逻辑，包括优化/调整的工具，如 GFPGAN、RealESRGAN 等）（可在 Google Colab 中选择 Github 输入链接部署）
https://github.com/altryne/sd-webui-colab（已经标为废弃，请使用 sygil-webui）（可在 Google Colab 中选择 Github 输入链接部署）
https://github.com/AUTOMATIC1111/stable-diffusion-webui（需要手动部署）
Google Colab 中 打开开源方案的步骤
打开 Google Colab
https://colab.research.google.com/
在左上角依次点击 文件/打开笔记本/Github
输入Github中的开源方案的链接
点击下方出现的 .ipynb 文件打开
自己部署AI绘画云平台
优点：使用无限制、自己跑模型的方式生成的图片，版权归属于你自己
限制：Google Colab 分配给个人免费的机器配置基本都不高，生成效率低；且有使用量限制，超出后无法使用或需要付费才能继续使用
一句话简述云端部署原理
在免费的 Google Colab 上，运行一个写好的笔记文件（.ipynb文件），以搭建一个AI绘画环境（如 Stable Diffusion及相关工具），以及用来操作它的在线用户界面服务（WebUI）
基于 Stable Diffusion（推荐）
sd-webui-colab 搭建
其内部使用的模型是 Stable Diffusion1.4。也可以通过修改其脚本使用别的模型，如 NovelAi /Stable Diffusion/1.5/2.0（个人猜测）
详细搭建步骤（NRatel的子脑图）
https://www.processon.com/view/62d54be8e401fd516fc3cd85
sygil-webui 搭建
搭建步骤和上面基本类似
功能了解（NRatel的子脑图）
https://www.processon.com/view/62d54be8e401fd516fc3cd81
自己本地部署AI绘画平台
优点：使用无限制、自己跑模型的方式生成的图片，版权归属于你自己；生成效率取决于自己的显卡好不好
本想在 Google Colab 上，连接本地运行时（本地安装的 Jupyter Notebook 服务器），
执行 ipynb 文件 进行部署，但似乎其依赖 Google Colab 云环境，所以没有成功。
（这里只是记录一下 Google Colab 连接本地运行时 的过程）。
执行 ipynb 文件 进行部署，但似乎其依赖 Google Colab 云环境，所以没有成功。
（这里只是记录一下 Google Colab 连接本地运行时 的过程）。
0、安装 Python 3.10.x
注意直接勾选 添加环境变量，否则还要手动添加
1、在 Google Colab 上，连接本地运行时，弹出确认框，先阅读其中内容
2. 按照 这些说明 创建本地连接
https://research.google.com/colaboratory/local-runtimes.html
3、按照此说明安装 Jupyter
http://jupyter.org/install
注意，其中包含 Jupyter Lab、Jupyter Notebook 和 Voila
需要了解，JupyterLab 是包括了 Notebook 的下一代用户界面
4、安装并启用 jupyter_http_over_ws jupyter 扩展程序（一次性）（cmd 中输入下方两个命令）
pip install jupyter_http_over_ws
jupyter serverextension enable --py jupyter_http_over_ws
5、启动服务器并进行身份验证（cmd 中输入下方命令）
jupyter notebook --NotebookApp.allow_origin='https://colab.research.google.com' --port=8888 --NotebookApp.port_retries=0
此时的 cmd 窗口中会出现一个地址：http://localhost:8888/?token=0743557fcc3f7495b05c668dee4df713238415c6e848e68c
6、在弹出确认框中输入该地址，并点击连接按钮，完成连接
7、运行 笔记本文件（一堆报错。。放弃）
基于 Stable Diffusion
sygil-webui
https://github.com/Sygil-Dev/sygil-webui
根据其文档进行部署
https://sygil-dev.github.io/sygil-webui/docs/Installation/one-click-installer
stable-diffusion-webui
https://github.com/AUTOMATIC1111/stable-diffusion-webui
按照其 ReadMe 及 wiki 中所述进行部署
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/
（常见错误）https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Troubleshooting
0、确保满足所需的依赖项，并遵循 NVidia (推荐) 和 AMD gpu可用的说明。
1、安装 Python 3.10.6，并勾选 "Add Python to Path"
2、下载 stable-diffusion-webui 到本地
可以用 git 下载 或 直接 Download Zip后解压
3、将 model.ckpt（模型文件）放到 stable-diffusion-webui/models/Stable-diffusion/ 目录下
4、（可选）将 GFPGANv1.4.pth 放到 stable-diffusion-webui/ 下
5、运行 webui-user.bat
注意，Python版本必须是 3.10.6，否则会各种报错。（wiki中也说了，不要用其他版本，除非你自找麻烦）
注意，在每个 Installing xxx、Cloning xxx 处都可能会等待很久，因为下载、拷贝需要时间，有的较大，保持网络良好并耐心等待即可
报错：Torch is not able to use GPU; add --skip-torch-cuda-test to COMMANDLINE_ARGS variable to disable this check
（我只是个核显，为了先走通安装流程）编辑 webui-user.bat，修改 set COMMANDLINE_ARGS=--skip-torch-cuda-test
（我只是个核显，为了先走通安装流程）编辑 webui-user.bat，修改 set COMMANDLINE_ARGS=--skip-torch-cuda-test
警告：Launching Web UI with arguments:
Warning: caught exception 'Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx', memory monitor disabled
No module 'xformers'. Proceeding without it.
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
（还是显卡的问题，忽略）
Warning: caught exception 'Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx', memory monitor disabled
No module 'xformers'. Proceeding without it.
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
（还是显卡的问题，忽略）
6、在浏览器中打开 cmd 窗口中显示的地址使用
http://127.0.0.1:7860/
7、运行错误
报错：RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'
（还是显卡问题）编辑 webui-user.bat，在 COMMANDLINE_ARGS 中增加参数 --precision full --no-half
（还是显卡问题）编辑 webui-user.bat，在 COMMANDLINE_ARGS 中增加参数 --precision full --no-half
我的博客：https://blog.csdn.net/NRatel
0 条评论
下一页
