fairygen 是由大湾区大学开发的一款动画故事视频生成框架，能够基于单个手绘角色草图，生成具有连贯叙事和统一风格的动画故事视频。该框架融合多模态大型语言模型（mllm）进行故事规划，通过风格传播适配器将角色视觉风格迁移至背景，利用 3d agent重建角色以生成真实运动序列，并采用两阶段运动适配器提升视频的连贯性与自然度。fairygen 在风格一致性、叙事连贯性和动作质量方面表现优异，为个性化动画创作提供了全新可能。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
主要功能
- 动画故事视频生成：从一张手绘角色草图出发，自动生成具备连贯剧情与统一风格的动画短片。
- 风格一致性处理：通过风格传播适配器，将角色的绘画风格同步到整个视频背景中，保持整体画面风格统一。
- 复杂动作生成：借助3D代理对角色建模，生成符合物理规律的动作序列，实现丰富且自然的角色动作。
- 故事情节组织：利用多模态大语言模型（MLLM）进行故事构建，输出结构化分镜脚本，确保情节流畅有逻辑。
技术原理
- 故事构思：使用多模态大语言模型（MLLM），根据输入的手绘角色生成完整的故事板，包括全局剧情概要与具体镜头安排。
- 风格迁移机制：风格传播适配器负责提取角色图像风格，并将其应用到背景画面中，增强整体视觉协调性。
- 三维动作建模：通过3D Agent进行角色建模，结合骨骼绑定与动作重定向技术，生成逼真合理的动态效果。
- 双阶段动作优化：在图像转视频扩散模型基础上，采用两步训练策略。第一阶段专注于空间特征学习，第二阶段引入时间偏移策略，提升动作连续性与自然感。
- 视频合成与优化：整合以上模块，基于微调后的图像到视频扩散模型直接生成与故事板匹配的高质量动画场景，完成最终视频输出。
项目地址
- 官方网站：https://www.php.cn/link/cb16e9966ff8b9db87d4ab07b1d9c117
- GitHub代码库：https://www.php.cn/link/64055d56367c68545b1ad9b86faee20c
- 论文链接：https://www.php.cn/link/21a750226c83e601b384a7a0152d016a
应用场景
- 教育行业：教师可使用 FairyGen 将学生绘制的角色转化为动画故事，激发学生的写作兴趣与艺术创造力。
- 数字艺术设计：艺术家能通过 FairyGen 快速将手绘草图转化为动画视频，提高创作效率，降低制作成本。
- 心理治疗辅助：治疗师可以借助 FairyGen 帮助患者将手绘角色变成动画故事，促进情绪表达与心理恢复。
- 儿童启蒙教育：家长与孩子一起使用 FairyGen 制作属于自己的动画作品，培养孩子的想象力与动手能力，增强亲子互动。
- 广告创意领域：广告公司运用 FairyGen 制作定制化动画广告，提升品牌吸引力与传播效果。
