MistoLine


Control Every Line!


GitHub Repo

MistoLine 是一个可以适配任意类型线稿，准确性高，稳定性优秀的SDXL-ControlnetNet模型。它可以基于用户输入的任意类型的线稿图（手绘、各类controlnet-line preprocessor、模型线框轮廓等）作为条件，生成高质量图像（短边大于1024px），无需再根据不同线预处理器选择不同的controlnet模型，MistoLine在各类线稿条件下都有较好的泛化能力。

MistoLine是我们使用全新的线预处理算法（Anyline），并基于*********ai/stable-diffusion-xl-base-1.0的Unet以及大模型训练工程上的创新，重新进行训练的Controlnet模型。MistoLine对于不同类型的线稿输入都有较好的表现，在更加复杂的场景下对于细节还原，prompt对齐，稳定性方面对比现有的Controlnet模型都有更好的表现结果。


MistoLine与lllyasviel公布的Controlnet架构保持一致，原理图如下：

reference：https://github.com/lllyasviel/ControlNet


更多关于ControlNet相关的介绍请参考：

More information about ControlNet can be found in the following references:

https://github.com/lllyasviel/ControlNet


该模型适配目前除（PlaygroundV2.5以及CosXL）之外的大部分SDXL模型，可以配合LCM以及其他ControlNet模型一并使用。我们开源对应的模型权重文件供个人用户进行非商业性使用。


不同预处理器效果：

与其他ControlNet的对比：


应用场景

手绘渲染

以下案例只是用了MistoLine这个controlnet

模型渲染

以下案例只使用了Anyline作为预处理器以及MistoLine这个controlnet

ComfyUI推荐参数

sampler steps:30
CFG:7.0
sampler_name:dpmpp_2m_sde
scheduler:karras
denoise:0.93
controlnet_strength:1.0
stargt_percent:0.0
end_percent:0.9

Checkpoints

  • mistoLine_rank256.safetensors : General usage version, for ComfyUI and AUTOMATIC1111-WebUI.
  • mistoLine_fp16.safetensors : FP16 weights, for ComfyUI and AUTOMATIC1111-WebUI.

ComfyUI 使用方法

中国（大陆地区）便捷下载地址：

链接：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
提取码：8mzs


引用

@misc{
      title={Adding Conditional Control to Text-to-Image Diffusion Models}, 
      author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},
      year={2023},
      eprint={2302.05543},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}