Stability AI发布SDXL 1.0，Google Colab 上快速体验 SDXL 1.0 模型

点击上方蓝字关注我们

一、Stability AI发布SDXL 1.0

北京时间7月27日，Stability AI宣布推出最新的图像生成模型 Stable Diffusion XL 1.0 ，Stable Diffusion XL 1.0的开源版本，当前可在GitHub上进行访问。

▲ 来源：Stability AI 官网

Stable Diffusion 已经是目前全球使用最广泛的开源文生图模型。本次推出的Stable Diffusion XL 1.0，它是对早期SDXL 0.9、SDXL Beta和流行的 v1.5 模型的改进，这是 Stability AI 最新的旗舰图像模型，也是当前图像生成领域最好的开源模型。

▲ 来源：Stability AI 官网

上图评估了用户对 SDXL（有或没有细化）相对于 SDXL 0.9 以及稳定扩散 1.5 和 2.1 的偏好。SDXL基础模型的性能明显优于之前的变体，并且与细化模块相结合的模型实现了最佳的整体性能。

二、快速体验 SDXL

有以下几种方法可以开始使用 SDXL 1.0：

• SDXL 1.0 在 Clipdrop 上线。

• https://clipdrop.co/stable-diffusion。

• SDXL 1.0 的权重和相关源代码已在 Stability AI GitHub 页面上发布。

• https://github.com/Stability-AI/generative-models

• SDXL 1.0 也将在 Stability AI 平台上针对 API 发布。

• https://platform.stability.ai/

• SDXL 1.0 可在 AWS Sagemaker 和 AWS Bedrock 上使用。

• https://docs.aws.amazon.com/sagemaker/latest/dg/studio-jumpstart.html
• https://aws.amazon.com/bedrock/

• 稳定基础 Discord 开放用于 SDXL 模型的实时测试。

• https://discord.com/channels/1002292111942635562/

• DreamStudio 也有SDXL 1.0可用于图像生成。

• http://dreamstudio.ai/

三、SDXL 型号是什么

SDXL模型是v1.5模型的正式升级。该模型作为开源软件发布。

这是一个更大的模型。在人工智能世界中，我们可以期待它会变得更好。SDXL模型的参数总数为66亿，而v1.5模型的参数总数为9.8亿。

四、SDXL 和 v1.5 型号之间的差异

SDXL 模型由两个模型组成 - 基础模型和优化器模型。（图来自研究论文）

SDXL 模型实际上有两个模型。首先运行 基本模型 ，然后运行 优化器模型 。基本模型设定全局组成。优化器模型添加了更精细的细节。（我们也可以选择单独只运行基本模型。）

语言模型（理解您输入提示的部分）是最大的 OpenClip 模型 ( ViT-G/14 ) 和 OpenAI 专有的 CLIP ViT-L 的组合。这是一个明智的选择，因为 Stable Diffusion v2 单独使用 OpenClip 很难进行提示。重新引入 OpenAI 的 CLIP 让提示变得更加容易。在v1.5上适用的提示很可能在SDXL上也适用。

SDXL 模型具有新的 图像尺寸调整机制 ，旨在使用小于 256×256 的训练图像。这么做显著增加了训练数据，不会丢弃 39% 的图像。

U -Net是扩散模型最关键的部分，现在比原来扩大了 3 倍。结合更大规格的语言模式，SDXL 模式能够生成与提示密切匹配、高质量图片。

SDXL 的默认图片尺寸为 1024×1024 ，比 v1.5 模式中原来的 512×512 大 4 倍。

五、SDXL 中的示例图像

▲ 与 1.5 型号相比，用户绝大多数更喜欢 SDXL 型号（图来自研究论文）

根据 Stability AI的研究，大多数用户更喜欢 SDXL 模型中的图像而不是 v1.5 基本模型。从下面的对比你会发现使用 v1.5 和 SDXL 型号使用相同提示生成的一系列图像。

下面我们来比较一下使用不同的模型用同样的Prompt看看生成的效果怎么样 。

• Prompt提示词

        
photo of young Caucasian woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores
    

• 负面提示词

        
disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w
    

      
          

        disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w
      
    

5.1、SD v1.5 模型生成的图像

5.2、基本模型生成的底座图像

5.3、优化器模型生成的图像

从生成的图片结果来看，优化器对于生成逼真的图像是必不可少的。仅使用基础的 v1.5 模型并不能充分发挥 v1 模型的价值。大多数用户使用经过微调的 v1.5 模型来生成逼真的人物图像。

六、下载SDXL 1.0模型

您可以在以下存储库中找到 SDXL 基础模型和精炼器模型。

• SDXL 1.0 基本模型

• https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main

• SDXL 1.0 精炼机型号

• https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0

• SDXL VAE 文件

• https://huggingface.co/stabilityai/sdxl-vae

以下是 safetensor 模型文件的直接下载链接。

• 下载 SDXL 1.0 基础模型

• https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd\_xl\_base\_1.0.safetensors

• 下载SDXL 1.0精炼机模型

• https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd\_xl\_refiner\_1.0.safetensors

• 下载 SDXL VAE 文件

• https://huggingface.co/stabilityai/sdxl-vae/resolve/main/sdxl\_vae.safetensors

七、使用 SDXL 1.0 模型的技巧

Stability AI 官方发布了一些使用 SDXL 1.0 模型的技巧。

• 负面提示。 负面提示在 1.5 和 2.0 模型中没有必要。许多常见的负面术语是无用的，例如额外的手指。
• 关键词权重 。您不需要像 v1 模型那样使用高关键字权重。1.5 对于 SDXL 型号来说非常高。当您重用 v1 模型中的提示时，您可能需要减少权重。减轻体重比增加体重效果更好。
• 安全张量 。始终使用 safetensor 版本，而不是检查点版本。它更安全，不会在您的机器上执行代码。
• 炼器实力 。使用低磨浆强度以获得最佳效果。
• 炼油师 。使用嘈杂的图像来充分利用精炼机。
• 图像尺寸 。原始尺寸为1024×1024。SDXL 支持不同的宽高比，但质量对尺寸敏感。以下是 Stability AI 的官方图像生成器 DreamStudio 中使用的图像尺寸：

• 21:9 – 1536 x 640

• 16:9 – 1344 x 768

• 3:2 – 1216 x 832

• 5:4 – 1152 x 896

• 1:1 – 1024 x 1024

八、在 AUTOMATIC1111 上运行 SDXL 模型

AUTOMATIC1111 Web-UI 现在原生支持 SDXL 模型。 不再需要 SDXL演示扩展程序来运行 SDXL 模型。

支持 SDXL 的更新已于 2023 年 7 月 24 日发布。需要更新 AUTOMATIC1111才能使用 SDXL 型号。

可以在 Google Colab、 Windows 或 Mac 上使用 AUTOMATIC1111 。

九、在 Google Colab 上安装 SDXL 1.0 模型

2023 年 4 月 21 日更新：Google 已禁止通过免费帐户使用 Stable Diffusion。 您需要付费计划才能使用此笔记本。

9.1、什么是 AUTOMATIC1111

Stable Diffusion 是一个机器学习模型。它本身对用户并不十分友好。我们需要编写代码来使用它，使用上会比较麻烦。大多数用户使用图形用户界面（GUI）来使用 Stable Diffusion。不用编写代码，只需在文本框中编写提示，并通过点击按钮生成图像。

AUTOMATIC1111 是最早为 Stable Diffusion 开发的 GUI 之一。尽管它与 AUTOMATIC1111 的 GitHub 账户相关联，但开发该软件是社区共同努力的结果。

AUTOMATIC1111 具有丰富的功能：你可以在此 GUI 中使用文本转图像、图像转图像、提升分辨率、深度转图像，并运行和训练自定义模型。

9.2、什么是 Google Colab？

Google Colab是 Google 提供的一项交互式计算服务。

他们提供三种付费计划——Pay As You Go、Colab Pro 和 Colab Pro+。我建议使用 Colab Pro 计划。它每月为您提供 100 个计算单元，这在标准 GPU 上大约需要 50 小时。您还可以获得高 RAM 机器，这对于使用 v2 模型和一些扩展非常有用。

通过付费计划，我们可以选择 A100高级GPU 处理器。当我们在 Colab 中使用 AUTOMATIC1111 时，一定要在使用完后关闭Colab环境。如果保持打开状态时，它将会持续消耗计算单元。

如果只是希望可以快速在Google Colab环境中简单体验一下Stable Diffusion模型，可以直接在Colab中运行以下的脚本，等待几分钟的时间，就会成功部署完成SD。（注意这种方式不会保留太久，基本上生成几张图片的时间，Colab链接就会断开，需要图片可以在生成完图片可以立即下载到本地），正式使用建议还是考虑付费GPU云环境或者准备本地GPU服务器。

        
%cd /content  
%env TF_CPP_MIN_LOG_LEVEL=1  
  
!apt -y update -qq  
!wget https://github.com/camenduru/gperftools/releases/download/v1.0/libtcmalloc_minimal.so.4 -O /content/libtcmalloc_minimal.so.4  
%env LD_PRELOAD=/content/libtcmalloc_minimal.so.4  
  
!apt -y install -qq aria2  
!pip install -q xformers==0.0.20 triton==2.0.0 -U  
  
!git clone -b v2.5 https://github.com/camenduru/ui  
# !git clone https://huggingface.co/embed/negative /content/ui/embeddings/negative  
# !git clone https://huggingface.co/embed/lora /content/ui/models/Lora/positive  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/embed/upscale/resolve/main/4x-UltraSharp.pth -d /content/ui/models/ESRGAN -o 4x-UltraSharp.pth  
!git clone https://github.com/camenduru/sd-civitai-browser /content/ui/extensions/sd-civitai-browser  
# !git clone https://github.com/camenduru/control /content/ui/extensions/control  
# !git clone https://github.com/fkunn1326/openpose-editor /content/ui/extensions/openpose-editor  
!git clone https://github.com/camenduru/tunnels /content/ui/extensions/tunnels  
!git clone https://github.com/etherealxx/batchlinks-webui /content/ui/extensions/batchlinks-webui  
%cd /content/ui  
!git reset --hard  
!git -C /content/ui/repositories/stable-diffusion-stability-ai reset --hard  
  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11e\_sd15\_ip2p\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11e\_sd15\_ip2p\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11e\_sd15\_shuffle\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11e\_sd15\_shuffle\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_canny\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_canny\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11f1p\_sd15\_depth\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11f1p\_sd15\_depth\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_inpaint\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_inpaint\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_lineart\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_lineart\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_mlsd\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_mlsd\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_normalbae\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_normalbae\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_openpose\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_openpose\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_scribble\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_scribble\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_seg\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_seg\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15\_softedge\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_softedge\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11p\_sd15s2\_lineart\_anime\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11p\_sd15s2\_lineart\_anime\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/control\_v11f1e\_sd15\_tile\_fp16.safetensors -d /content/ui/extensions/control/models -o control\_v11f1e\_sd15\_tile\_fp16.safetensors  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11e\_sd15\_ip2p\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11e\_sd15\_ip2p\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11e\_sd15\_shuffle\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11e\_sd15\_shuffle\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_canny\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_canny\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11f1p\_sd15\_depth\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11f1p\_sd15\_depth\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_inpaint\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_inpaint\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_lineart\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_lineart\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_mlsd\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_mlsd\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_normalbae\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_normalbae\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_openpose\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_openpose\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_scribble\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_scribble\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_seg\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_seg\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15\_softedge\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15\_softedge\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11p\_sd15s2\_lineart\_anime\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11p\_sd15s2\_lineart\_anime\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/raw/main/control\_v11f1e\_sd15\_tile\_fp16.yaml -d /content/ui/extensions/control/models -o control\_v11f1e\_sd15\_tile\_fp16.yaml  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_style\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_style\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_sketch\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_sketch\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_seg\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_seg\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_openpose\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_openpose\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_keypose\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_keypose\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_depth\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_depth\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_color\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_color\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_canny\_sd14v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_canny\_sd14v1.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_canny\_sd15v2.pth -d /content/ui/extensions/control/models -o t2iadapter\_canny\_sd15v2.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_depth\_sd15v2.pth -d /content/ui/extensions/control/models -o t2iadapter\_depth\_sd15v2.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_sketch\_sd15v2.pth -d /content/ui/extensions/control/models -o t2iadapter\_sketch\_sd15v2.pth  
# !aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/ControlNet-v1-1/resolve/main/t2iadapter\_zoedepth\_sd15v1.pth -d /content/ui/extensions/control/models -o t2iadapter\_zoedepth\_sd15v1.pth  
  
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_base_1.0/resolve/main/sd_xl_base_1.0.safetensors -d /content/ui/models/Stable-diffusion -o sd_xl_base_1.0.safetensors  
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sd_xl_refiner_1.0/resolve/main/sd_xl_refiner_1.0.safetensors -d /content/ui/models/Stable-diffusion -o sd_xl_refiner_1.0.safetensors  
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/ckpt/sdxl_vae/resolve/main/sdxl_vae.safetensors -d /content/ui/models/VAE -o sdxl_vae.vae.safetensors  
  
!sed -i -e '''/from modules import launch\_utils/a\import os''' /content/ui/launch.py  
!sed -i -e '''/        prepare\_environment()/a\        os.system\(f\"""sed -i -e ''\"s/dict()))/dict())).cuda()/g\"'' /content/ui/repositories/stable-diffusion-stability-ai/ldm/util.py""")''' /content/ui/launch.py  
!sed -i -e 's/\["sd\_model\_checkpoint"\]/\["sd\_model\_checkpoint","sd\_vae","CLIP\_stop\_at\_last\_layers"\]/g' /content/ui/modules/shared.py  
  
!python launch.py --listen --xformers --enable-insecure-extension-access --theme dark --gradio-queue --multiple
    

在启动完成后，在输出的日志信息中可以看到公开访问的WebUI Colab URL地址，打开链接即可访问SD的UI界面。

如果还想在Google Colab中使用SDXL v0.9版本的模型，或者使用ComfyUI，可以访问以下GitHub项目：

https://github.com/camenduru/sdxl-colab

十、在 Windows 或 Mac 上安装 SDXL 1.0 型号

下载 SDXL 基础模型和优化器模型，然后像往常一样将它们放入 models/Stable-diffusion 文件夹中。

• 下载 SDXL 1.0 基础模型
• 下载SDXL 1.0精炼机模型

在 Stable Diffusion Checkpoint 下拉菜单旁边点击刷新图标后，您应该可以在下拉菜单中看到这两个 SDXL 模型。

关于具体的安装部署教程在后面单独介绍，包括除AUTOMATIC1111之外一些额外的解决方案。

十一、使用 SDXL 基本模型实现文本生成图像

在 txt2img 页面上使用 SDXL 基本模型与使用任何其他模型没有什么不同。基本步骤是：

• 在 Stable Diffusion Checkpoint 下拉菜单中选择 SDXL 1.0 基础模型。
• 输入提示文本，并可选择输入负面提示。
• 将图像尺寸设置为1024×1024，或者根据不同纵横比选择接近1024的尺寸（请参阅上方的技巧部分）。

重要提示 ：确保你没有选择 v1 模型的 VAE。进入 设置 > Stable Diffusion，将SD VAE 设置为 None 或 Automatic。

技巧 ：在 设置 > 用户界面 > 快速设置 中添加 sd\_vae ，以在检查点下拉框旁边添加一个用于选择 VAE 的下拉菜单。

继续使用上面同样的Prompt指令，按照以下配置，生成的图片如下所示：

十二、免费版 Stable Difussion Online

体验地址 ： https://nogpu-webui.com/

12.1、OmniInfer介绍

Omnilnfer 提供了一个可以免费使用Stable Difussion的在线服务，已增加SDXL 1.0 的支持，无需注册，加入Discord即可免费使用，不过为了服务器超负载，免费账户会在速率、图像分辨率和图像质量有一定的限制。

12.2、产品优势

12.3、应用案例

12.4、产品价格

12.5、FAQ

• 什么是 Omnilnfer

Omnilnfer 是一个在线图像生成器 API，利用稳定扩散和模型。您可以为您的应用和业务生成图像。目前，它主要提供稳定扩散服务，但将来也会提供多模式模型服务。

• 它是如何工作的？

Omnilnfer 拥有 10,000 多种稳定扩散模型，我们将不断更新这些模型，其中包括最受欢迎的模型、它可以根据任何文本描述生成图像。它支持在 2 秒钟内生成不同风格的图像。2 秒钟内生成不同风格的图像。

• 如何使用应用程序接口

您可以使用我们的 API 以编程方式访问 Omnilnfer。完整的 API 文档可在https://www.omniinfer.io/

• 使用 Stable Diffusion 是否需要任何 GPU？

不需要，API 与我们的 GPU 相连，我们为您进行处理。因此，您可以在几秒钟内生成图像。

• Omnilnfer 免费吗？

是的，Omnilnfer 有免费版本，无需注册即可使用：不过，为了避免服务器超载，有一些限制，如速率限制、图像分辨率和图像质量。

如果您想不受任何限制地使用 Omnilnfer，可以升级到可选的付费版本。

• 生成图像时的并发量是多少？

免费计划的并发数为 5，基本计划的并发数为 5，企业计划的并发数为 10。

• 生成的图片能否用于商业用途？

可以，您生成的所有图像都拥有版权。您可以随意使用或出售。每张图片都是独一无二的，您拥有使用权，包括以数字或实物形式用于商业目的。

• 每张图片的许可条款。

例如，《稳定扩散》是根据 CreativeML Open RAIL-M 许可证条款提供的。这既适用于免费版本和付费的 Power Mode。

十三、Reference

• SDXL 0.9 官方新闻

• https://stability.ai/blog/sdxl-09-stable-diffusion

• SDXL 1.0 官方新闻

• https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

• SDXL 模型研究论文

• https://arxiv.org/abs/2307.01952

• Stable Diffusion web UI

• https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki

• SD-XL 1.0-base Model Card

• https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0

• SD-XL 1.0-refiner Model Card

• https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0

• Stability AI Generative Models

• https://github.com/Stability-AI/generative-models

如果你对这篇文章感兴趣，而且你想要了解更多关于 AI 领域的实战技巧，可以 关注「技术狂潮AI」公众号 。 在这里，你可以看到最新最热的 AIGC 领域的干货文章和案例实战教程。