腾讯正式开源 finLLM-Eval——一套面向大模型在金融领域应用的幻觉专项评估框架。该项目首次提出无需依赖人工标注 GroundTruth 的金融数据真实性评测范式，突破性地解决了金融场景下缺乏权威评判基准的行业难题，为AI技术在强监管、高容错门槛的金融业务中稳健落地提供了关键基础设施支撑。
本次发布的开源版本涵盖以下核心能力：
- 逻辑一致性 & 事实准确性评估模块：提供完整可运行工程代码、内置示例评测数据集，并支持用户灵活扩展自有测试样本；系统自动输出详尽评估结果，包括综合得分、错误类型分布图、千字幻觉发生率等多维量化指标。
- 端到端金融数据准确性比对模块：技术实现方案
核心功能亮点
聚焦大模型生成内容质量评估
- 事实准确性评估：精准识别模型输出中是否存在虚构信息、事实混淆或时空错位等问题，确保内容与真实金融市场状况严格对齐。
- 逻辑一致性评估：深度检验模型推理链条是否契合金融基本原理、市场运行规律及主流投资方法论，有效拦截违背常识或理论矛盾的结论。
覆盖大模型全流程应用效果评估
- 零标注金融数据真实性验证：基于真实投资者提问语料，自动解析“标的×时间×指标”三元组结构化事实，调用内部金融知识库完成全自动校验，彻底摆脱人工撰写标准答案的瓶颈。
AgentAsJudger 智能评测机制
- 全流程无人值守：由AI Agent自主完成事实抽取、逻辑路径还原，并与RAG检索结果或权威金融数据库进行交叉比对，实测准确率超96%。
后续，项目将持续演进 finLLM-Eval，规划新增非金融类指标验证能力、错误归因分析模块等功能。
源码地址：点击下载
