三星电子近日发布了名为 truebench（可信真实世界使用评估基准）的全新评估体系，该基准由三星研究院自主研发，专注于衡量人工智能在实际工作场景中的生产力表现。
“TRUEBench 的核心设计理念在于，不仅评估答案是否正确，更关注其是否满足用户潜在、具体的需求，从而实现更加贴近现实的应用评测。”
据官方介绍，TRUEBench 提供了一整套系统化指标，用于评估大语言模型（LLM）在真实办公环境下的综合能力。为提升测试的真实性，该基准融合了多样化的对话情境以及多语言支持条件。
TRUEBench 基于三星内部 AI 技术的实际应用经验，覆盖 10 大任务类别及 46 个细分场景，包括内容创作、数据解析、文本摘要、语言翻译等典型企业级应用。整个基准体系的标准由人类专家与人工智能协同构建并持续优化，并通过 AI 驱动的自动化评估流程，保障评分结果的稳定性和可重复性。
三星指出，随着越来越多企业引入 AI 辅助完成日常工作，对 LLM 实际生产力进行量化评估的需求日益迫切。然而，当前主流基准测试普遍存在局限：多数仅聚焦整体性能，以英语为主导，且局限于单轮问答模式。
为突破这些瓶颈，TRUEBench 构建了包含 2,485 个测试案例的庞大数据库，涵盖 10 个任务领域和 12 种语言（如韩语、英语、日语等），并支持跨语言交互任务。测试样本长度从最短 8 个字符到超过 20,000 字符不等，模拟从简短指令到复杂文档处理的全范围应用场景。
在标准制定方面，三星研究院采用人机协作机制进行验证。初始阶段由人工标注员设计评估准则，随后由 AI 系统审查其中可能存在的逻辑错误、矛盾或过度限制；再由人工进一步修订完善，此过程多次迭代，逐步提升标准精度。基于最终通过交叉验证的评估框架，AI 模型的表现将接受自动化测评，在降低主观偏差的同时确保评判一致性。值得注意的是，每一项测试任务都设有多个必须同时满足的通过条件，只有完全达标才算成功，从而实现更精细、严格的评分机制。
