AI代写论文露馅？顶刊主编一问，作者啥都答不上来

编辑｜Panda

假如你撰写了一篇论文，现在被问到三个问题：你的研究问题是什么？某个符号代表什么含义？摘要中提到的结论，在正文哪些部分得到了验证？

若论文确系你原创，回答这些基础问题应当轻而易举，甚至无需准备。

然而，在机器学习期刊TMLR（Transactions on Machine Learning Research）近期开展的一项小型测试中，有三篇论文的作者连这些基础问题都无法回答。

9月16日，TMLR在官方博客发表了一篇题为《向作者询问他们自己的论文》的文章，作者是该刊联合主编之一、卡内基梅隆大学（CMU）的Nihar B. Shah。在他两周的主编轮值期间，他挑选了10篇原本会被直接拒稿（desk rejection）的投稿，并未直接拒绝，而是逐一邀请作者进行讨论。结果，这10篇论文最终全部被拒。

同为TMLR主编的Gautam Kamath在𝕏上转发时称这是一次“勇敢的实验”，并表示它证实了许多人早已存在的猜测：部分投稿者实际上并不清楚自己论文的内容。

抽查10篇待拒稿，全部被拒

据Shah描述，这次试验发生在2026年8月14日至28日他担任主编期间。他从待直接拒稿的论文中非正式地抽取了10篇，通过审稿平台OpenReview向作者发送了一条简短通知：一位主编希望在送审前与您沟通，以更好地理解这篇论文，如方便，请通过邮件告知可安排的时间。

消息发出后，情况迅速分化。一篇论文的作者直接撤稿；一位作者回复称事务繁忙，无法通话；其余8篇安排了会谈，但其中一位作者未按时出席。

最终与Shah会面的，是7篇论文的作者。他们的身份各异，包括本科生、硕士生、博士生、高校教师和独立研究者。这些论文大多为单作者论文，但并非全部。

Shah的提问分为两类：一类是关于问题设定、符号和论文所声称结果的基础问题，另一类是关于具体技术表达式、理论结果和实验设计选择的细节问题。

在7场会谈中，只有1篇论文的作者回答了所有问题。另有3篇的作者能够阐述高层思路，但一旦被追问技术细节便陷入困境。最糟糕的是另外3篇，作者连基础问题都无法回答，而这3篇均为单作者论文。

Shah写道，其中两位作者似乎对自己论文的内容几乎没有实质性理解，另一位则无法在正文中找到摘要中声称的几项关键结果或其支撑证据。

唯一全部答对的那篇也未能通过。Shah在审读中发现，论文的一项主要结论存在重大错误，作者随后承认了这一点。TMLR对该论文进行了直接拒稿，但允许作者在修正错误或缩小结论后重新投稿。其余9篇则被直接拒稿，且不开放重投。

会后的两个插曲

Shah在文中还记录了两件事，颇具黑色幽默色彩。

第一件：有两篇论文的作者在会谈中无法回答基础问题，会后却向他发送了书面答复。Shah将这些邮件提交给AI文本检测工具Pangram，结果均被判定为“100% AI”。

第二件：在另一场会谈中，一位作者试图向Shah介绍自己使用的分析方法，但讲着讲着，无意中完整描述了一套p-hacking流程，即通过反复调整分析方式，直到数据变得“显著”为止。

需要说明的是，Shah本人并不排斥AI。他在文中坦言，为了在两周内读完8篇论文，他自己也借助了LLM来辅助理解，甚至学习了一些此前不熟悉的概念。他关心的并非作者是否使用了AI，而是作者能否为署着自己名字的内容负责。

为什么要做这件事？

TMLR创刊于2022年，由JMLR背后的团队运营，以“只看结论是否被证据支撑，不以新颖性和SOTA作为拒稿理由”的审稿标准而闻名。它的审稿人、执行编辑（Action Editor）和主编均为无偿志愿者，这也使得它在今年的投稿潮中格外吃力。

根据TMLR 6月发布的公告，过去一年里其投稿量增长至原来的三倍，其中单作者投稿更是暴增至13倍，编辑部甚至遇到过有人一天投出5篇论文的情况。Shah在最新文章中提供的另一组数据更直观：2023年，TMLR直接拒稿的比例约为6%，如今已升至约53%，这意味着超过一半的投稿无法进入外审环节。

面对这种局面，TMLR在今年夏天密集推出了一系列措施。

其一是按作者设置年度投稿配额。与许多会议“每人最多N篇”的固定上限不同，TMLR采用了一种“调和式”配额规则，一篇论文消耗每位作者的额度会随合著者人数增加而递减。具体参数是：只投单作者论文的人，每年最多投2篇；若所有投稿都是9人合著，则每年最多9篇；活跃的审稿人和执行编辑额度翻倍。该规则从7月1日起执行。TMLR在公告中解释，之所以不按人数平摊，是为了防止有人靠挂名“凑作者”来换取更多投稿额度。

其二是引入AI审稿。TMLR于7月宣布，每篇投稿将在常规人工审稿之外附带一份AI生成的审稿意见，仅评估论文的“可靠性”，即结论是否有准确、清晰、令人信服的证据支撑，不做主观判断，也不给出录用建议，最终决定仍由执行编辑作出。经过评测，TMLR选用了CSPaper的AI审稿器。

其三是把“写得清楚”写进录用标准。8月28日，TMLR修改了原有的“受众兴趣”标准，明确要求论文要向读者清晰地传达其发现。公告直言，当前的AI写作往往绕来绕去、术语堆砌、难以读懂；如果一篇论文几乎完全由AI生成、缺少人的参与，至少以现有AI系统的水平，它很可能达不到这一标准。

Shah在文章结尾总结，这次约谈让编辑部对现有的直接拒稿流程更有信心，配额制度和对清晰写作的强调也被证明很有帮助。

不只是TMLR

TMLR的遭遇并非孤例。今年以来，AI领域几个重要的发表渠道都在与同一个问题搏斗。

6月初，NeurIPS官方博客披露，NeurIPS 2026立场论文（Position Paper）赛道的971篇投稿中，有273篇（28.2%）被Pangram判为AI分数100%。

该赛道今年明确要求论文必须“实质上由人类撰写”，AI只能用于文字润色等外围修改。NeurIPS同时指出，AI写作的增长是全面性的：在“评测与数据集”赛道，Pangram分数不低于90%的论文数从2025年到2026年增长了十倍以上。不过NeurIPS也承认检测结果对参数敏感，改用中等尺寸的检测窗口后，AI分数在90%至100%区间的论文比例会从42.7%降至12.7%。

更早的5月中旬，arXiv计算机科学板块负责人Thomas G. Dietterich在社交媒体上宣布了一项明确罚则：如果一篇投稿中存在作者未检查大模型输出的“确凿证据”，比如幻觉参考文献、遗留在正文里的聊天机器人对话语句，所有作者将被禁止在arXiv投稿一年，此后的投稿必须先被正规同行评审渠道接收才能上架。Dietterich强调，在论文上署名，就意味着每位作者要对全部内容负责，无论这些内容是怎样生成的。

与此相关的数据同样刺眼。据哥伦比亚大学的一项《柳叶刀》研究，在PubMed Central收录的生物医学论文中，含有至少一条虚构引用的论文比例，从2023年的约万分之4，升至2026年初的约万分之57。

从“查文本”到“查人”

Shah在文中坦承，这次试验花掉了他20到25个小时，只处理了8篇论文，面对如今的投稿规模，这种做法很难推广。

他同时提到，自己的团队正在研究可规模化的方案。

而就在前几天，Shah与CMU的Justin Payan、Bálint Gyevnár、Atoosa Kasirzadeh发布了一篇论文，提出名为greCAPTCHA的评估方法。名字一半取自美国研究生入学考试GRE，一半取自区分人与机器的CAPTCHA验证码。

它的思路是：不再去检测文本是不是AI写的，而是直接考作者。作者提交论文和一份个人贡献说明，系统据此自动生成题目，作者在监考条件下作答，最后生成一份评估报告，供期刊、招聘或招生方参考。研究者将所要考察的能力称为“核验能力（capacity to verify）”，即作者是否具备批判性评估自己所贡献内容的知识和推理能力。

题目分为四类：在多个版本中识别论文真实报告的数据（预置错误识别）、解释论文没有写明理由的设计选择、解释论文默认读者已知的背景概念，以及指出方法在什么具体条件下会失效。

团队招募了31名研究者进行测试，每人分别就自己的论文和一篇陌生论文作答。结果显示，系统区分“自己的论文”和“陌生论文”的AUC达到0.90，去掉选择题后升至0.934。选择题本身几乎没有区分度，AUC只有0.595，原因很简单，答案可以直接在PDF里搜到。另一个值得注意的结果是，受试者面对本领域和跨领域陌生论文时，得分没有统计学上的显著差异，说明这套题考的不只是领域知识。

一位受试者的经历颇能说明问题：他在测试前把陌生论文交给AI，让它从头到尾讲解了一遍，但面对深入问题依然答不上来，陌生论文得分1.3，自己论文得分51。

但这套系统远未成熟。论文报告的最低误判率约为20%，也就是说，每五位真正的作者里可能有一位被误判。受试者对评分的抱怨最多：不清楚该答到多细、评分标准过于死板。一位作者面对否定自己答案的评分标准时脱口而出，那个东西明明是我自己设计的。还有受试者指出，合作论文中有些部分由合著者完成，自己本就答不上来；也有人担心，这类考试会在无形中考察英语表达、打字速度，对非英语母语者和残障研究者不公平。

结语

Shah在文中列出了几点结论，这两点值得一看：

一是credit分配。在今天的科研生态里，学术贡献主要通过论文署名来认定。如果作者无法解释、无法捍卫自己的论文，一篇发表作为“研究者贡献”的信号价值就大打折扣。

二是审稿体系的循环。许多期刊和会议会邀请投稿作者去审别人的论文。如果作者连自己的论文都看不懂，他们能否胜任审稿，自然要打上问号。在AI审稿、AI写作同时涌入的当下，这个循环一旦断裂，同行评审的根基就会被掏空。

当然，这次试验本身也有明显的局限。10篇样本数量很小，是Shah“非正式”抽取的，而且全部来自原本就要被直接拒稿的论文，它能说明的是“被判定为低质量的投稿里有什么”，而不是TMLR投稿的整体面貌。这一点Shah自己也写了：试验的目的之一，正是检验直接拒稿流程是否靠谱。

但Shah的这次试验至少给出了一个底线：一篇论文可以由AI帮忙完成，但署名的人必须能说清楚里面写了什么。 你可以在爱游戏正版入口-爱游戏 (AYX)官方网站登录入口获取更多关于学术诚信和AI工具使用的信息。

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：机器之心，36氪经授权发布。