阿里开发的模型in-context lora 是非常适合做短视频镜头分镜的,基本上可以解决人物,服装、场景的上下文一致性。
官方论文网站:https://ali-vilab.github.io/In-Context-LoRA-Page/
官方github模型 https://github.com/ali-vilab/In-Context-LoRA?tab=readme-ov-file
电影故事版技巧:
用“<”和“>”括起来的占位符角色名称在图像中唯一地引用该角色的身份,确保在整个故事板中角色形象的一致性。
你可以写一个场景,他们每个人只用一段话。严格遵循这个格式,会保持分镜头的一致性
【SCENE-1】
显示<name>做某事
【场景-2】
切换到<名字>做其他事情,并展示这个人的面部细节,
【场景-3】 描述<名字>看着美丽的事物,展示更多环境的细节。
分镜提示词逐行输出;按照顺序输入对应的分镜提示词框。
如果你是本地部署,也可以把deepseek接入你的本地comfyUI,个人建议电脑配置16G显存起步。
如果配置不足,建议在哩布哩布在线生图!!
你可以用deepseek撰写故事分镜,复制粘贴,
如下
deepseek 官方网站 https://www.deepseek.com/
问小白deepseek满血版https://www.wenxiaobai.com/chat/200006
大家可以直接用大模型写故事脚本分镜复制进来翻译即可,微软浏览器扩展程序或者谷歌Chrome浏览器扩展程序,安装一个沉浸式翻译翻译为英文即可。个人觉得非常好用!
本工作流消耗你66积分。我去掉多余的图片放大,占用太多积分和渲染时长!
如果你想批量裁切你也可以在线工具裁剪
https://www.67tool.com/images/split
图片的分辨率我已经100多次实测,请不要随便更改!
我们以常规2:3比例,分辨率1024x1536为参照
显存占用参考(RTX40 90)
1.25x 1280x1920 快速测试/手机端展示 GPU 10-12 GB
1.5x 1536x2304 商业插画/印刷预备14-16GB
2x 2048x3072 高清壁纸/影视级分镜20-24GB(需分块渲染)
3x 3072x4608 巨幅海 报/博物馆级输出32GB+(需双卡协同)
经过上百次测试,这个比例是最稳定能生成三分屏的分辨率,
常规默认为1024X1536,如果你希望生成的分镜更加高清,
请采用1280X1920.其他比例的分辨率慎点!!!
容易出现4分屏和5分屏。请不要随便调整我的参数,如果你要调整,图片裁剪比例同样需要调整。
我也根据runway的1280X768分辨率测过,分屏比例不稳定,经常多屏,不方便后期裁切!
如果你是小白级选手,建议不懂不要调!!!
这上面能够动的就是模型选择和提示词更换!!
本工作流可以直接在线运行,目前暂时不开放下载。
如果收藏点赞过百后,我会逐步放开。
记得点赞,收藏,关注,一键三连!!!
毕竟,熬了两个通宵完善,希望大家能够看到付出的努力,也希望能够给你们带来良好的体验!!欢迎返图区返图哦!
如果真的很喜欢这个工作流,可以私信我!!
更多干货可以订阅我的【FlowUs息流】蝈蝈的AI笔记干货
https://flowus.cn/guoguo52/share/b7104755-4655-4446-9e2f-fe86e80b32fc?code=JNS9DQ
不定期公开课更 新视频号【蝈蝈的人工智能】
商务咨询合作+微信:gphz52
小红书广告、短剧、微电影商务合作:AI造梦师蝈蝈(可以看案例)
我们的团队:矢量星球
常驻杭州,重庆也会根据项目出差!