编写多模态提示词需明确模态标识、跨模态对齐、输出格式限定、领域知识约束及抗干扰机制。具体包括：一、用结构化前缀区分图像/文本/视频并标注元信息；二、通过空间-时间锚定与验证条件强制语义对齐；三、分段输出、设定模态权重与交叉验证要求；四、嵌入时空限制、行业术语与模态失效响应；五、定义冲突仲裁、异常上报与幻觉禁止规则。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您希望AI模型同时处理图像、文本和视频等多模态输入并执行特定任务，则提示词需明确指定各模态的语义角色、交互逻辑与输出要求。以下是编写此类多模态提示词的具体方法：
一、明确模态类型与对应内容标识
提示词必须清晰区分不同模态的输入来源，避免模型混淆图文或误将视频帧当作静态图处理。需为每类模态分配唯一标识符，并说明其内容性质与任务关联。
1、在提示词开头使用结构化前缀，例如：“【图像】：一张用户上传的街景照片；【文本】：‘请识别图中是否有交通信号灯，并说明其颜色状态’；【视频】：一段3秒的十字路口监控片段。”
2、对视频输入补充关键元信息，如“【视频】：时长2.8秒，含56帧，起始帧编号0001，重点关注第32–45帧中的行人行为。”
3、当图文存在逻辑依赖时，用连接词显式建模关系，例如：“基于【图像】中展示的设备外观，结合【文本】提供的型号参数，判断【视频】里该设备是否正在正常运行。”
二、定义跨模态对齐指令
多模态任务的核心在于引导模型建立不同模态间的语义对应关系，而非分别处理后简单拼接结果。提示词需嵌入对齐动词与参照锚点，强制模型执行联合推理。
1、使用空间-时间锚定短语，例如：“将【视频】第2.1秒出现的红色物体，与【图像】左下角区域的同类物体进行材质一致性比对。”
2、设定跨模态验证条件，例如：“仅当【文本】描述的动作动词（如‘挥手’）与【视频】中肢体运动轨迹匹配、且【图像】中人物姿态与该动作典型静帧一致时，才判定为真实发生。”
3、引入否定约束以排除干扰，例如：“若【图像】显示晴天，但【视频】中雨滴轨迹明显，则忽略【文本】中‘天气晴朗’的陈述，以视频光学特征为准。”
三、限定输出格式与模态权重
为防止模型偏向某一模态（如过度依赖文本描述而忽略视频动态细节），提示词须硬性规定各模态在决策链中的参与层级与输出呈现方式。
1、采用分段输出模板，例如：“输出分为三部分：【图文联合分析】：……；【视频时序推断】：……；【多模态一致性结论】：……”
2、设置模态可信度开关，例如：“当【视频】提供连续动作证据时，其判断权重为70%；【图像】仅用于初始对象定位（权重20%）；【文本】仅校验命名实体（权重10%）。”
3、强制交叉验证输出，例如：“最终答案必须同时满足：a）视频关键帧检测结果；b）图像ROI区域标注坐标；c）文本中提及的三个关键词全部出现在分析过程句中。”
四、注入领域知识约束条件
通用多模态模型缺乏垂直场景下的物理规律或专业逻辑，提示词需嵌入不可协商的领域规则，确保输出符合现实约束。
1、加入时空连续性限制，例如：“视频中物体移动速度不得超过图像中该物体实际尺寸所允许的物理上限（按30fps计算）。”
2、绑定行业标准术语，例如：“对医疗影像【图像】与手术记录【文本】、内镜操作【视频】的联合分析，必须使用《ICD-11》编码体系输出诊断结论。”
3、设定模态失效响应机制，例如：“若【视频】因低光照导致光流不可提取，则自动降级为【图像】+【文本】双模态分析，并在输出首行标注‘视频模态不可用’。”
五、嵌入抗干扰指令与异常标记
真实场景中常存在模态冲突、缺失或噪声，提示词应预设应对策略，避免模型强行拟合错误关联。
1、定义冲突仲裁规则，例如：“当【文本】称‘无人’而【图像】检测到人脸、【视频】显示肢体运动时，优先采信视频时序证据，并在输出中标注‘文本描述与多模态观测矛盾’。”
2、要求异常显式上报，例如：“若【视频】中出现【图像】未包含的新物体，或【文本】提及【视频】未覆盖的时间段事件，必须单独列出‘未覆盖项’清单。”
3、禁止幻觉填充，例如：“不得根据【文本】推测【视频】中不存在的画面内容；所有视频相关结论必须对应可定位的帧编号或时间戳。”
