0

0

顶会是否应该降低接收门槛?用博弈论探索最优审稿和决策机制

王林

王林

发布时间:2023-04-07 15:03:11

|

877人浏览过

|

来源于51CTO.COM

转载

近年来,人工智能领域对于大型计算机会议审稿机制的诟病与日俱增,这一切背后的矛盾源于论文作者、会议主办方和审稿人三方并不一致的利益:

  • 论文作者希望他们的论文被会议接收;
  • 会议主办方希望接收更多的优质论文以提高会议的声誉(会议质量);
  • 审稿人则希望避免过多的审稿工作量(审稿压力)。

因此,如何在论文数量大幅增加的大环境下权衡会议质量和审稿压力是达到三方利益均衡的核心问题。去年,来自人工智能领域的学者针对如何改进会议审稿和决策机制这一问题提出了众多看法和建议,这些想法被汇总为一篇 23 页的谷歌文档。其中一条想法十分有趣并得到了多人认同:


☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

文档链接:https://docs.google.com/document/d/1j7Mn2ZkquSzWJ_EzxdXBP3z_JQtrSeUa-CQ0gotAuYw/mobilebasic

这一想法源于这样一个反直觉的现象, 本文称之为重投悖论(resubmission paradox):

每年有大量论文会被拒收(人工智能顶会例如 NeurIPS 接收率常年低于 30%),其中大部分论文会在仅有微调甚至完全没有改动的情况下参与重投,最终总会被同一会议或同级别的会议接收。既然大部分论文终究会被接收,那为什么不降低论文的接收门槛使得更多论文在经过更少次数的重投后就可以被接收?这样就可以避免同一篇论文被审稿人反复阅读进而降低审稿压力。


图片

尽管这一想法看上去十分合理,本文作者提出用博弈论模型描述作者和会议之间的互动,并对这一想法给出了否定的回答,研究论文已被 Economics and Computation (2022) 接收。在这一模型下,本文了讨论不同的审稿和决策机制在权衡会议质量和审稿压力中的表现,比如以下问题:

  • 如何确定最优的接收门槛?
  • 是否应该增加一篇论文的审稿人数量?
  • 提高审稿质量有什么好处?
  • 是否应该作者同时提供论文的以往审稿意见?
  • ……

论文链接:https://arxiv.org/pdf/2303.09020v1.pdf

1. 模型概述

本文将作者向学术会议提交论文并审稿的过程建模为重复博弈,具体流程如下:

首先,每个作者有一篇论文准备提交。在每一轮投稿中,作者进行二选一决策:将论文提交到顶会还是 sure bet(比如声望较低的二类会议)。提交到顶会和 sure bet 的结果取决于审稿机制和论文质量:

  • 顶会有一定概率接收论文,一旦接收,作者会获得较大的收益;
  • sure bet 保证论文一定接收,但带来的收益较小。

其中,顶会的决策完全取决于审稿人的评审意见, 比如设置一个接收阈值,当且仅当平均审稿分数高于阈值时接收该论文,而作者的收益随着重投次数指数折减。

顶会承诺一个审稿 / 决策机制,作者针对该机制做出最佳策略;而顶会则需要在考虑作者最佳回应策略的前提下,设计出能权衡会议质量和审稿压力的最优机制。


图片

2. 主要结论

利用上述建模方法,本文得出一些重要结论,包括:

1)作者的最优策略

Deep Search
Deep Search

智能文献、网页检索与分析工具。AI赋能,洞悉万象,让知识检索与总结触手可及

下载

在一个简化的模型中(更复杂的模型详见原文),本文做出如下假设:作者知道其论文的真实质量,会议的决策是无记忆的(每轮审稿的决策仅取决于该轮审稿人的意见),并且作者有无穷次重投机会。在这种情况下,作者存在一个阈值最优策略:

  • 如果论文质量高于阈值,作者将选择投稿顶会,并且无论经历多少次拒稿,作者都会选择重投,直到中稿;
  • 如果论文质量低于阈值,作者将立即选择 sure bet。

通常情况下作者的提交阈值 Θ 低于会议的接收阈值 τ,如下图所示。


图片

以上结论可以用来解释重投悖论:为什么接收更多论文不能从本质上降低审稿压力?这是因为降低会议的接收阈值 τ 会同时降低作者的提交阈值 Θ,进而吸引更多低质量论文的提交。如下图所示,如果接收阈值降低,一部分从前选择投稿二类会议的论文(紫色区域)如今选择投稿顶会。

2)会议质量和审稿压力

顶会的审稿 / 决策机制需要权衡会议质量和审稿压力,二者不可兼得。

  • 会议质量 = 所有被接收论文的质量之和
  • 审稿压力 = 一篇论文从投稿到最终被接收被审稿次数的期望值

改变接收阈值会同时改变会议质量和审稿压力(如下图)。


图片

图为会议质量(纵坐标)和审稿压力(横坐标)关于接收阈值的变化曲线,σ 为审稿人噪音的标准差。

以下三种情况可以得到会议质量和审稿压力之间更优的权衡(达到相同的会议质量只需更小的审稿压力):

  • 更好的审稿质量 ——— 审稿人噪音更低;
  • 更低的顶会声誉 ——— 相比 sure bet,顶会带来的收益更低;
  • 更短见的作者 ——— 作者收益在多轮重投下有更大的折减。

3. 结语

本文旨在呼吁学术会议改进审稿和决策机制时应考虑不同机制对论文作者带来的激励,更多有趣的结论详见论文原文,比如论文接收率主要受什么因素影响?作者在不能准确知道自己论文质量的情况下的最优策略是什么?要求作者提供论文的以往审稿意见对会议有什么样的影响?

当然,本文的理论模型在不同层面上存在很多局限性:比如本文没有考虑审稿压力对审稿质量的负反馈效应,以及会议质量对作者收益的正反馈效应,并且认为论文质量不会在拒稿过程中得到提高等等。对于会议同行评审系统的讨论和改进不会止步于此,从博弈的角度理解会议审稿机制尤为重要,欢迎感兴趣的读者查看论文原文或致信文章作者,以讨论更多研究细节。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

chatgpt官网入口地址合集
chatgpt官网入口地址合集

本专题整合了chatgpt官网入口地址、使用教程等内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

minimax入口地址汇总
minimax入口地址汇总

本专题整合了minimax相关入口合集,阅读专题下面的文章了解更多详细地址。

4

2026.03.16

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

7

2026.03.16

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

114

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

141

2026.03.12

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

396

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

65

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

111

2026.03.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
【web前端】Node.js快速入门
【web前端】Node.js快速入门

共16课时 | 2.1万人学习

swoole进程树解析
swoole进程树解析

共4课时 | 0.2万人学习

ThinkPHP6.x 微实战--十天技能课堂
ThinkPHP6.x 微实战--十天技能课堂

共26课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号