NoobAI-XL 用户手册

用户1827

用户2738

2025年1月7日修改

2024年11月17日创建

29610

62682

1.
介绍​

本文档用于提供关于 NoobAI-XL 模型全面、完整的介绍，并与时俱进。

请注意，由于大量信息的动态更新和维护困难，该文档可能会有出错或不全。​

1.1
基本介绍​

NoobAI-XL 是一款由 Laxhar Dream Lab 开发，蓝耘赞助的文生图扩散模型。模型证书为继承自 fair-ai-public-license-1.0-sd，且具有额外限制的 NoobAI-XL 模型证书。模型以 SDXL 为模型架构，以 Illustrious-xl-early-release-v0 为基础模型，在完整的 Danbooru 和 e621 数据集（共约 13,000,000 张图像）上训练了大量轮次，具有丰富的知识和出色的性能。

1.2
概括​

NoobAI-XL 具有庞大的知识量，能够还原上万名二次元角色及画师风格，认识二次元中的大量特殊概念，并具有丰富的 furry 知识。​

NoobAI-XL 同时提供噪声预测和 V 预测两种版本。简而言之，噪声预测版本生成的图像更多样，更有创意；V 预测版本更遵守提示词，生成的图像色域更广、光影更强。​

NoobAI-XL 具有越来越丰富的生态社区支持，包括各种 LoRA、ControlNet、IP-Adapter 等等。

NoobAI-XL 包含一系列模型，主要有噪声预测和 V 预测两类，后文将作详细介绍。

2.
快速开始​

阅读本节前，读者需要已经了解任何一种 WebUI、ComfyUI、forge 或 reForge 等等生图 UI 的基本用法。否则，需要读者从这里或从互联网（如B站等等）上自行学习。

2.1
模型下载​

站点	链接	备注
CivitAI	点击这里	需要魔法访问
LiblibAI	点击这里
Huggingface	点击这里	需要魔法访问

若不知道下载哪一个模型，可浏览此处。

2.2
模型加载​

NoobAI-XL 的模型分为两类：噪声预测（epsilon prediction，或简称 eps-pred）模型和 V 预测（v-prediction，或简称 v-pred）模型。模型名中带有 "eps"、"epsilon-pred" 或 "eps-pred" 字样的即为噪声预测模型，与其他模型无太大分别，若您使用它们则可直接跳过本节；模型名带有 "v" 或 "v-pred" 字样的即为 V 预测模型，与大部分常规模型不同，需要请仔细阅读本节的安装指南！V 预测模型的原理介绍可参阅这篇文章。

2.2.1
V 预测模型的加载​

V 预测是一种目前较为罕见的模型训练技术，使用该技术训练的模型称为 V 预测模型。与噪声预测相比，V 预测模型以其更高的提示词服从度、更全面的色域和更强烈的光影见长，其代表如 NovelAI Diffusion V3 和 COSXL。由于出现时间较晚且该类型的模型较少，一些主流生图项目和 UI 并不直接支持。因此，如果您打算使用 V 预测模型，则需要一些额外操作。本节将介绍其具体用法。若您在使用途中遇到任何困难，亦可直接联系任何模型作者以寻求帮助。

a. 在 forge 或 reForge 中使用

forge 和 reForge 是分别由 lllyasviel 和 Panchovix 开发的两款生图 UI，均为 WebUI 的扩展版本。其主分支便支持 V 预测模型，且操作模式与 WebUI 几乎相同，故作推荐。如果您已经安装了它，则只需要在其安装目录下运行 git pull 更新后重启即可；如果您尚未安装，则可参阅网上的教程安装使用。

b. 在 ComfyUI 中使用

ComfyUI 是由 comfyanonymous 开发的生图 UI，允许用户自由操作节点，以灵活性和专业性而得名。在其中使用 V 预测模型仅需要添加额外的节点

c. 在 WebUI 中使用

WebUI 即由 AUTOMATIC1111 开发的项目 stable-diffusion-webui。当前，WebUI 的主分支，即 main 分支尚不支持 V 预测模型，需要切换分支为 dev。请注意，该方法不稳定且可能有 BUG，使用不当甚至会造成 WebUI 产生不可逆的损坏。因此，请提前备份您的 WebUI。具体方式如下：

1.
若您尚未安装 WebUI，请参照网上的教程安装它；​

2.
在您 stable-diffusion-webui 的安装目录下打开控制台或终端；​

3.
输入指令 git checkout dev 后回车；​

4.
重启 WebUI。​

d. 在 Diffusers 中使用

Diffusers 是一个 Python 的扩散模型专用库。该用法需要使用者具有一定的代码基础，推荐开发人员和研究人员使用。代码示例：

代码块

import torch​
from diffusers import StableDiffusionXLPipeline, EulerDiscreteScheduler​
​
ckpt_path = "/path/to/model.safetensors"​
pipe = StableDiffusionXLPipeline.from_single_file(​
    ckpt_path,​
    use_safetensors=True,​
    torch_dtype=torch.float16,​
)​
scheduler_args = {"prediction_type": "v_prediction", "rescale_betas_zero_snr": True}​
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, **scheduler_args)​
pipe.enable_xformers_memory_efficient_attention()​
pipe = pipe.to("cuda")​
​
prompt = """masterpiece, best quality, john_kafka, nixeu, quasarcake, chromatic aberration, film grain, horror \(theme\), limited palette, x-shaped pupils, high contrast, color contrast, cold colors, arlecchino \(genshin impact\), black theme, gritty, graphite \(medium\)"""​
negative_prompt = "nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro"​
​
image = pipe(​
    prompt=prompt,​
    negative_prompt=negative_prompt,​
    width=832,​
    height=1216,​
    num_inference_steps=28,​
    guidance_scale=5,​
    generator=torch.Generator().manual_seed(42),​
).images[0]​
​
image.save("output.png")​

NoobAI-XL 用户手册​

NoobAI-XL 用户手册