arXiv||封禁{使用AI虚构参考文献的作}者
本报讯 据《自然》报道，预印本平台arXiv近日宣布，若投稿被发现包含由人工智能（AI）工具虚构的参考文献，其作者将被禁止在该平台发表稿件，禁期一年。该禁令同样适用于有确凿证据表明使用了生成式AI且未仔细核查稿件的作者。
美国俄勒冈州立大学计算机科学家、arXiv计算机科学部主管Thomas Dietterich称，一年处罚期满后，除非该作者的研究成果已被“声誉良好的同行评议期刊”接收，否则他们仍无法在arXiv上公布任何手稿。
arXiv此举是预印本平台应对日益泛滥的AI“垃圾内容”的又一行动。AI“垃圾内容”是指使用生成式AI制作的低质量或无意义内容。该举措在社交媒体上引发研究人员大量评论。
尽管科学家日益频繁地使用大语言模型来完成文献综述等多种任务，arXiv此举仍获得了许多研究人员的支持。德国AI初创公司sci2sci的联合创始人Valeri Kremnev认为这是“很棒的举措”，并希望相关行动能更全面地打击垃圾内容。
不过，并非所有人都确信此举措是正确的。利用AI帮助研究人员进行同行评议的平台Reviewer3的创始人Natalie Khalil认为，arXiv的举措治标不治本。“如果一名研究人员被arXiv封禁，他依然会做研究，只是换个地方发表罢了。”
对此，Dietterich回应道，各平台需要通力合作，剔除大语言模型生成的错误参考文献和其他有问题的内容。“一名不负责任的研究人员或许会在别处发表不负责任的研究，但这并不能成为允许他在arXiv上公布这些内容的理由。”
Dietterich表示，尽管arXiv之前已对多种违反其准则的行为进行了处罚，但该平台直到最近才针对不当使用生成式AI制定了规范化的应对措施，旨在震慑有此类不当行为者。在他看来，现在的研究人员过于信任大语言模型，没有花足够时间去分析模型生成的结果。他还指出，部分此类AI生成内容源自论文工厂。
Dietterich指出，AI“垃圾内容”在arXiv的计算机科学版块最为普遍。该版块的论文量约占该预印本平台所有投稿的一半。“这个领域的作者是大语言模型技术的早期使用者，也是早期的滥用者。”
其他预印本平台同样充斥着AI“垃圾内容”。比如，美国开放科学中心去年10月关闭了其预印本平台OSF Preprints，原因是低质量投稿大量涌入，其中许多是AI“垃圾内容”。一些预印本平台和arXiv一样采取了“封禁”手段，如心理学预印本平台PsyArXiv对未披露大量使用生成式AI的作者实施永久封禁。社会学预印本平台SocArXiv同样永久封禁提交AI生成的垃圾论文的作者。
Dietterich认为，生成式AI最终可能不再“胡言乱语”，这将使其产出的论文与真正的研究论文更加难以区分。“届时，我们可能需要一些能让作者证明他们确实开展了实验的方法。”（徐锐）