Runway提供四路径动画生成:一、草图+运动笔刷生成4秒动画;二、纯文本驱动扩散模型生成视频;三、图像局部施加可控动态;四、实拍表演映射为虚拟角色动画。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如果您希望将静态草图、图像或文字描述转化为具有动态表现力的动画视频,则Runway提供了多路径生成能力。以下是实现该目标的具体流程:
一、基于草图生成动画视频
该方法适用于已有手绘或数字草图,需将其扩展为连续运动画面。Runway通过视频预测模型理解草图结构,并在时间维度上合成帧序列,从而构建基础动画。
1、确保已安装最新版Runway桌面应用或已登录网页端app.runwayml.com。
2、创建新项目,选择“Sketch to Video”或使用Gen-2中“Image + Text”模式导入草图文件。
3、上传草图后,在提示框中输入运动描述,例如“草图中的机器人手臂缓慢抬起并转向右侧”。
4、点击“Motion Brush”按钮,在草图关键部位(如关节、轮子)涂抹对应运动类型笔刷:水平平移用于横向移动,Z轴笔刷用于伸缩或前后推进。
5、调节每支笔刷的Motion Strength值至3.5–6.0之间,避免过度变形导致结构失真。
6、点击“Generate”启动动画合成,等待系统完成4秒视频渲染。
二、基于文本生成动画视频
此路径无需任何图像素材,完全依赖自然语言指令驱动扩散模型生成从零开始的动画视频,适用于概念可视化与快速原型制作。
1、登录Runway账户后,进入Gen-2模块,确认当前模式为Text to Video。
2、在提示框中输入完整英文描述,必须包含主体、动作、环境、风格四要素,例如:"A steampunk owl with brass gears flaps its wings in a clocktower at dusk, cinematic lighting, smooth motion"。
3、删除所有中文字符、标点嵌套及emoji,仅保留标准ASCII英文单词与空格。
4、设置Duration为4 seconds,Aspect Ratio为16:9,Motion Intensity保持默认50%。
5、点击“Generate”,系统调用UNet3D网络进行噪声迭代去噪,逐帧构建时空一致视频。
三、基于图像+运动笔刷生成动画视频
该方式赋予用户对静态图像局部区域施加可控动态的能力,适合已有高质量图像但需添加拟真运动效果的场景,精度高于纯文本生成。
1、上传一张清晰构图的PNG或JPG图像,建议分辨率不低于768×480。
2、点击界面下方“Motion Brush (beta)”按钮,展开五类运动笔刷面板。
3、选择蓝色水平笔刷涂抹飘动的旗帜区域,选择紫色旋转笔刷涂抹风车叶片,确保各区域无重叠覆盖。
4、选中旗帜轨迹后,在参数区将Motion Strength设为7.2,启用Interpolate选项使摆动更自然。
5、对风车叶片单独设置Z轴深度敏感度为0.8,增强三维旋转感。
6、全部绘制完成后点击“Save”,再点击“Generate 4s”提交任务。
四、基于实拍表演生成角色动画视频
利用Act-One功能,可将普通手机拍摄的演员表演直接映射为虚拟角色动画,省去传统动捕设备与绑定流程,特别适合独立创作者快速产出角色驱动型动画内容。
1、使用iPhone或安卓手机横向录制一段10秒内演员正面表演视频,确保面部与上半身清晰可见。
2、在Runway中选择Act-One工具入口,上传该视频作为输入源。
3、上传参考角色图像(如卡通猫、写实宇航员等),系统自动建立骨骼与表情映射关系。
4、在语音同步设置中启用Lip Sync,确保口型动作与原始音频严格对齐。
5、点击“Generate Performance”,Runway提取微表情、视线方向与肢体节奏,输出带声音的角色动画视频。









