Cn的核心是他的控制模型,相信大家对于lineart,seg,canny这些控制模型都如数家珍。但是一直以来,没有一个控制模型可以控制材料。精准控制材料都是一个悬而未决的行业大问题,也是一个无法逃脱的亟待解决的问题。我们只能通过prompt提示词不断试错得到我们想要的材料,不但不可以控制他的材质也不能控制他在图中出现的位置。我们受到语义分割的cn模型启发,希望训练一个设计师专用的controlnent模型,通过这个模型一劳永逸的解决这个痛点,让我们在使用AI出图时,能够更精确的得到我们想要的结果。终于。在我们花了很长时间手工标注了很多数据后,训练了九九八十一天后(joking),这个问题终于解决啦!今天我们也开放了我们的cn材料控制模型material_control V0.7,后续会视情况开放更好的版本。
目前开放版本支持#76380b(木材),#cd5c5c( 砖),#4c4c4c(混凝土),#00bfff(玻璃),#c0c0c0(金属)的精准控制。经过多次测试,发现模型不仅仅能够控制材料的位置和质感,甚至在不加Lora的情况下,也可以通过非常简单的提示词获得极佳的效果,这是我们没有想到的。
如何使用:
- 下载模型
- 将模型放入“***************-models-ControlNet”文件夹
- 使用我标识的颜色绘制控制图像(#76380b(木材),#cd5c5c(砖块),#4c4c4c(混凝土),#00bfff(玻璃),和#c0c0c0(金属))
- 将准备好的控制图像设置为ControlNet的输入(WebUI和ComfyUI都可以正常工作)
- 选择预处理器为“none”,并选择下载的ControlNet模型
- 将ControlNet权重设置为大约1
- 将CKPT设置为LWarchi或dreamshaper,根据您的喜好选择
- 生成
推荐大模型:建筑类真实系模型,其他类大模型均可
推荐权重:1
推荐提示词:随意。可以写想要的材料也可以不写,基础开头是“a modern building”,后面随意写
此模型禁止商用,如需商用请和我确权
联系我们:
https://space.bilibili.com/2161614
aargxufan@outlook.com