Stable Diffusion是一个基于Latent Diffusion Models(潜在扩散模型,LDMs)的文图生成(text-to-image)模型。 具体来说,得益于Stability AI的计算资源支持和LAION的数据资源支持,Stable Diffusion在 LAION-5B 的一个子集上训练了一个Latent Diffusion Models,该模型专门用于文图生成。 Latent Diffusion Models通过在一个潜在表示空间中迭代“去噪”数据来生成图像,然后将表示结果解码为完整的图像,让文图生成能够在消费级GPU上,在10秒级别时间生成图片,大大降低了落地门槛,也带来了文图生成领域的大火。
我最近在玩的Stable Diffusion是基于谷歌colab,chillout_mix模型,优点是不安装不占用本地计算资源,缺点是需要翻墙、需要谷歌账号、需要花大量时间等待谷歌云的计算结果,出图慢,有耐心的小朋友可以玩玩看。
项目地址:
https://github.com/camenduru/stable-diffusion-webui-colab
我在玩的chillout_mix模型:
https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/v2.0/chillout_mix_webui_colab.ipynb
可以保存到谷歌云盘后再运行:
https://colab.research.google.com/drive/1Ofo0C4M5KC5SxCCEz8LpKrTaEPKhBm2-
点击连接后打开GPU,点代码框左边的播放键运行,下拉到页面最底部,等待执行7分钟后,就能获得项目临时执行地址,打开第三个URL,类似:
https://alias-fragrance-medicines-say.trycloudflare.com
训练词可以在这里找找看:
https://tag.redsex.cc
可以下载LORA模型:
https://civitai.com/models/10519/xiaorouseeu