我用AI伪造了一篇科学论文:结果如何
摘要
IEEE Spectrum作者用现成免费大模型生成一篇完全虚构的论文,并与IEEE Access合作测试其能否突破期刊审查,以此审视AI灌水对学术出版与科学信任的冲击。
核心要点
- 2025年估计57%的已发表学术文章有可检测的LLM影响,而2023年这一比例为12%。
- 2025年《Nature Communications》超过12%的审稿意见被判定完全由AI生成;每40篇有AI使用统计证据的论文中,仅1篇正式披露。
- 有估计称每年产生数十万篇虚假、常由AI生成的出版物;IEEE研究诚信经理Amanda Sulicz警告,AI slop正在侵蚀对科学及科学流程的信任。
- 实验采用“vibe-research”:只给自然语言提示,让LLM生成假设、代码和文本,尽量减少人工输入。
- 为公平测试,作者只用免费版ChatGPT(当时为GPT-5.3/5.2 Mini)和Gemini 3 Flash,不能直接编辑输出,也不能寻求外部专家提示帮助。
原文佐证
- By 2025, an estimated 57 percent of all published academic articles exhibited detectable evidence of large language model (LLM) influence, a massive jump from 12 percent in 2023.
- over 12 percent of Nature Communications reviews were found to be completely AI-generated in 2025.
- for every 40 papers showing statistical evidence of AI usage in 2025, only one formally disclosed it
AI 洞察
当生成一篇看似可信的论文成本趋近于零,学术出版的核心瓶颈将从“写作”转向“验证”,同行评审必须借助AI检测、数据与代码可复现性以及作者身份核验来重建信任。更深层的是,若AI能同时提出假设、编写代码并分析数据,“论文”作为科研评价单元的合法性会被动摇,期刊和资助机构可能被迫转向过程透明与开放科学基础设施的竞争。