阿里开发的模型in-context lora 是非常适合做短视频镜头分镜的,基本上可以解决人物,服装、场景的上下文一致性。

官方论文网站:https://ali-vilab.github.io/In-Context-LoRA-Page/

官方github模型  https://github.com/ali-vilab/In-Context-LoRA?tab=readme-ov-file

电影故事版技巧:

用“<”和“>”括起来的占位符角色名称在图像中唯一地引用该角色的身份,确保在整个故事板中角色形象的一致性。

你可以写一个场景,他们每个人只用一段话。严格遵循这个格式,会保持分镜头的一致性

【SCENE-1】

显示<name>做某事

【场景-2】

切换到<名字>做其他事情,并展示这个人的面部细节,

【场景-3】 描述<名字>看着美丽的事物,展示更多环境的细节。


分镜提示词逐行输出;按照顺序输入对应的分镜提示词框。

如果你是本地部署,也可以把deepseek接入你的本地comfyUI,个人建议电脑配置16G显存起步。

如果配置不足,建议在哩布哩布在线生图!!

你可以用deepseek撰写故事分镜,复制粘贴,

如下

deepseek 官方网站 https://www.deepseek.com/

问小白deepseek满血版https://www.wenxiaobai.com/chat/200006

大家可以直接用大模型写故事脚本分镜复制进来翻译即可,微软浏览器扩展程序或者谷歌Chrome浏览器扩展程序,安装一个沉浸式翻译翻译为英文即可。个人觉得非常好用!

本工作流消耗你66积分。我去掉多余的图片放大,占用太多积分和渲染时长!

如果你想批量裁切你也可以在线工具裁剪

https://www.67tool.com/images/split

图片的分辨率我已经100多次实测,请不要随便更改!

我们以常规2:3比例,分辨率1024x1536为参照

显存占用参考(RTX40 90)

1.25x  1280x1920   快速测试/手机端展示 GPU 10-12 GB

1.5x    1536x2304   商业插画/印刷预备14-16GB

2x       2048x3072   高清壁纸/影视级分镜20-24GB(需分块渲染)

3x       3072x4608   巨幅海 报/博物馆级输出32GB+(需双卡协同)


经过上百次测试,这个比例是最稳定能生成三分屏的分辨率,

常规默认为1024X1536,如果你希望生成的分镜更加高清,

请采用1280X1920.其他比例的分辨率慎点!!!

容易出现4分屏和5分屏。请不要随便调整我的参数,如果你要调整,图片裁剪比例同样需要调整。


我也根据runway的1280X768分辨率测过,分屏比例不稳定,经常多屏,不方便后期裁切!

如果你是小白级选手,建议不懂不要调!!!

这上面能够动的就是模型选择和提示词更换!!


本工作流可以直接在线运行,目前暂时不开放下载。

如果收藏点赞过百后,我会逐步放开。

记得点赞,收藏,关注,一键三连!!!


毕竟,熬了两个通宵完善,希望大家能够看到付出的努力,也希望能够给你们带来良好的体验!!欢迎返图区返图哦!

如果真的很喜欢这个工作流,可以私信我!!

更多干货可以订阅我的【FlowUs息流】蝈蝈的AI笔记干货

https://flowus.cn/guoguo52/share/b7104755-4655-4446-9e2f-fe86e80b32fc?code=JNS9DQ

不定期公开课更 新视频号【蝈蝈的人工智能】

商务咨询合作+微信:gphz52

小红书广告、短剧、微电影商务合作:AI造梦师蝈蝈(可以看案例)

我们的团队:矢量星球

常驻杭州,重庆也会根据项目出差!