TOMG-Bench：评估大语言模型开放域分子生成能力的新基准
科学家们开发了一个新的基准测试——tomg-bench，用于评估大型语言模型 (llm) 在分子领域的开放域生成能力。该基准测试旨在弥补现有分子-文本数据集的不足，更准确地评估 llm 在实际分子设计中的应用潜力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
项目资源：
- 项目主页：https://www.php.cn/link/36e6bfe59546f6b2f2a4c16eebfac314
- 数据集和测试脚本：https://www.php.cn/link/b61868418a7958262112355435af49f4
- 预印本：https://www.php.cn/link/c2b0e140029533c81a1793e5930e29ed
- Huggingface 数据集：https://www.php.cn/link/57a33a900c373d400a96043e9ef92461
- PaperWithCode：https://www.php.cn/link/719c6c64efb8dbf088b2677dee1a2c2e
挑战与机遇：
传统的分子发现方法效率低且成本高。虽然图神经网络 (GNN) 等 AI 工具展现出潜力，但其泛化能力和生成特定性质分子结构的能力有限。LLM 强大的语言理解和生成能力为分子发现带来了新的机遇，但分子与文本数据的对齐仍然是一个挑战。现有数据集通常是目标导向的，无法满足化学家在实际工作中对模糊需求的多种解决方案的生成。
TOMG-Bench 的设计：
TOMG-Bench 旨在评估 LLM 在开放域分子生成中的能力，更贴近实际应用场景。它包含三个主要任务，每个任务又细分为三个子任务：
- 分子编辑 (MolEdit): 添加、删除或替换分子中的官能团。
- 分子优化 (MolOpt): 优化分子的 LogP、MR 或 QED 值。
- 定制分子生成 (MolCustom): 根据原子数量、键数量或官能团生成分子。
每个子任务包含 5000 个测试样本，提供全面的性能评估。
数据生成和评估指标：
TOMG-Bench 使用 Zinc250K 数据库和随机生成的方法创建测试用例。评估指标包括成功率、相似性、有效性以及新颖性（针对 MolCustom 任务）。为了综合评估，引入了平均加权成功率指标。
OpenMolIns 指令微调数据集：
为了提升 LLM 的性能，研究人员还开发了 OpenMolIns 指令微调数据集，包含不同规模的数据，涵盖所有九个子任务。
实验结果与发现：
实验结果表明，开放域分子生成任务具有挑战性，即使是先进的 LLM 也存在局限性。开源模型的性能正在快速提升，模型能力与性能正相关，数据规模也对性能有显著影响。TOMG-Bench 揭示了 LLM 在分子领域的优势和不足，为未来的研究提供了方向。
排行榜 (Leaderboard):
TOMG-Bench 提供了模型性能排行榜，方便比较不同 LLM 的表现。
总结：
TOMG-Bench 为评估 LLM 在开放域分子生成能力方面提供了一个重要的基准，推动了 LLM 在分子发现领域的应用和发展。其开源的数据集和测试脚本为研究人员提供了宝贵的资源。
