腾讯混元团队在ai绘画领域实现重大进展，通过革新微调范式，大幅增强模型生成图像的质量，使输出结果更精准匹配人类对细节与美感的复杂偏好。仅需在32块h20 gpu上训练10分钟，模型即可完成收敛，人工评估的真实感与美学得分提升超3倍。
当前主流扩散模型虽已引入奖励机制以贴近人类审美，但仍面临两大瓶颈：
其一，优化轮次有限，易触发“奖励作弊”现象——即模型为片面追求高分而产出低质图像；
其二，需依赖离线更新奖励模型才能改善美学表现，导致实时调控能力薄弱，适应性受限。
针对上述挑战，团队提出两项核心技术突破。
Direct-Align 方法：通过预设噪声注入策略，支持从任意扩散时间步无损还原原始图像。扩散过程本质是噪声与目标图像间的连续插值，该方法预先建模噪声先验分布，并利用插值机制直接实现跨时间步重建，有效规避传统反向传播在早期阶段因梯度剧烈震荡引发的数值不稳定问题。
实验证明，即便仅完成5%的去噪进程（即极早期时间步），模型仍可准确复原图像的整体构图与粗略结构。更重要的是，该方法支持在整个扩散轨迹上开展端到端优化，突破了ReFL、DRaFT等方案仅能在后期阶段（如最后25%时间步）施加干预的局限。若仅在末段优化，极易诱发严重奖励黑客行为——例如模型过度迎合HPSv2对红色系的偏好，或PickScore对紫色调的倾向，从而牺牲图像真实性与多样性。
语义相对偏好优化（SRPO） 是另一项关键创新。传统多奖励融合策略仅通过缩放不同奖励值来平衡偏好，未从根本上统一优化方向。SRPO则将奖励信号重构为文本条件驱动机制：对同一张图像，分别使用正向提示词与负向提示词计算奖励得分，取二者差值作为核心优化目标，实现更鲁棒的语义对齐。
在实际部署中，仅需在原始提示前添加轻量控制短语，即可完成在线风格调控。实验表明，加入“Realistic photo”类引导词后，图像真实感提升约3.7倍，美学质量提升达3.1倍。SRPO还支持多种细粒度风格迁移，如明暗调节、漫画化转换等，操作简洁且效果显著。
控制强度与所用关键词在奖励模型训练语料中的出现频次高度相关：高频词（如“painting”）响应迅速、效果稳定；低频词（如“Cyberpunk”）则建议搭配高频词协同使用，以保障调控可靠性。
研究团队在FLUX.1-dev模型上开展了系统性验证。相较于ReFL、DRaFT、DanceGRPO等前沿方法，SRPO在各项评估指标中均位居榜首。
在HPDv2基准测试涵盖的3200个多样化提示下，SRPO不仅在自动评估指标（Aesthetic Score v2.5、PickScore、ImageReward等）全面领先，在人工评估中亦表现卓越。由10名专业标注员与3位领域专家组成的评审团，对500个提示生成图像进行双盲打分显示：原始FLUX模型在真实感维度的优秀率仅为8.2%，经SRPO微调后跃升至38.9%；美学质量优秀率由9.8%大幅提升至40.5%，整体用户偏好度优秀率达29.4%。
值得注意的是，DanceGRPO虽能提升部分美学指标，但常引入明显视觉伪影，如不自然的镜面高光与生硬边缘强化。相比之下，SRPO生成图像在维持高阶美学水准的同时，纹理呈现更为细腻、光影过渡更加自然真实。
尤为突出的是，仅经过10分钟SRPO训练的FLUX.1-dev，在HPDv2基准上的综合表现已超越最新开源版本FLUX.1.Krea。
这项成果不仅彰显了腾讯混元团队在生成式AI底层技术上的深厚积累，也为AI绘画的技术演进提供了全新范式，进一步拓展AI赋能艺术创作的边界与可能性。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
