1、最低6G显存可用会比较慢(6-8分钟一张图),推荐8G显存(工作时显存实际占用7-8G),放在普通基础模型目录即可
2、需要安装NF4模型加载节点加载,是开发级别节点,装不上需要修改节点管理器安全级别为弱,节点网址:
https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git
3、V2 以更好的方式进行量化,以关闭双量化的第二阶段。V2 比上一版本大 0.5 GB,因为块 64 范数现在以全精度 float32 存储,使其比上一版本更精确。此外,由于 V2 没有第二个压缩阶段,它现在具有更少的动态解压缩计算开销,从而使推理速度更快。
V2 的唯一缺点是大 0.5 GB。
整合了:
bnb-nf4 中的主模型(v1 在 nf4 中带有块 64 范数,v2 在 float32 中带有块 64 规范)
fp8e4m3fn 中的 T5xxl
fp16 中的 CLIP-L
bf16中的VAE