实验设计

2026 年 6 月,我设计了一项"人机对决"实验:

人类组: 3 位数学博士,分别来自代数、分析和应数方向,各自有 5-10 年研究经验。

AI 组: GPT-5 (o3)、Claude 4.5 Sonnet (extended thinking)、Gemini 2.5 Pro (deep think)。

任务: 7 个数学研究中的常见任务,从"文献检索"到"提出猜想"。

评分: 每项任务满分 10 分,由独立的评审委员会(5 位数学教授)打分。评审不知道答案来自人类还是 AI。

最终结果

任务人类组(平均)AI 组(最佳)胜者
1. 文献检索6.58.5AI
2. 计算验证5.09.0AI
3. 反例构造7.53.5人类
4. 证明瑕疵检测6.07.5AI
5. 类比迁移8.04.0人类
6. 概念定义7.55.0人类
7. 提出猜想8.53.0人类
总分49.040.5人类

结论:AI 在信息检索和计算类任务上碾压人类,但在需要创造力和洞察力的任务上远不如人类。

逐项分析

任务 1:文献检索

题目: “找到 2015-2025 年间所有关于’L 函数的特殊值’与’代数 K 理论’之间关系的重要论文,并总结它们的主要贡献。”

人类组: 通过 MathSciNet 和 Google Scholar 手动检索,找到了 8 篇核心论文,漏掉了 2 篇。耗时 3 小时。评分 6.5。

AI 组(GPT-5): 在 3 分钟内生成了 12 篇论文的列表,覆盖了人类组找到的全部 8 篇,还找到了 2 篇人类漏掉的。但其中 1 篇是"幻觉"——论文标题和作者名看起来合理,但实际上不存在。检查后修正。评分 8.5。

评审意见: “AI 的速度和覆盖面远超人类,但需要人类验证信息准确性。”

任务 2:计算验证

题目: “验证以下恒等式:(1+2+…+n)^2 = 1^3+2^3+…+n^3 对 n=1,2,…,1000 成立。并求出 n=10^6 时的值。”

人类组: 用数学归纳法证明了恒等式(尼科马库斯定理),然后计算了 n=10^6 的值。证明正确,但计算用了 Mathematica(也算进了时间)。耗时 45 分钟。评分 5.0(“太慢了,虽然正确”)。

AI 组(Claude 4.5): 在 3 秒内给出了完整的归纳证明,并正确计算了 n=10^6 的值(500000500000^2 = 2.500005e23)。评分 9.0。

评审意见: “这种题是 AI 的甜点区。不需要创造力,只需要精确执行。AI 完美胜任。”

任务 3:反例构造

题目: “构造一个反例:一个处处可导的函数,但其导函数在某个点不连续。”

人类组: 一位分析方向的博士立即给出了经典反例 f(x) = x^2 sin(1/x)(x≠0),f(0)=0。验证了它在 0 点可导但导函数在 0 点不连续。耗时 20 分钟。评分 7.5(“标准答案,但缺少更多样的反例”)。

AI 组: GPT-5 给出了 f(x) = x^2 sin(1/x^2) —— 这个函数在 0 点不可导!AI 混淆了"可导但导函数不连续"和"处处可导"的定义。Claude 4.5 给出了正确的例子但计算验证有误。Gemini 2.5 给出了一个完全不相关的函数。评分 3.5。

评审意见: “AI 在反例构造上表现糟糕。它似乎不理解’为什么’这个反例有效,只是在记忆中搜索’看起来像反例的东西’。”

任务 4:证明瑕疵检测

题目: 给出一段包含 3 个隐藏逻辑错误的数学证明,要求找出所有错误。

人类组: 找到了 3 个错误中的 2 个,漏掉了 1 个(一个隐蔽的"除以零"错误)。耗时 1.5 小时。评分 6.0。

AI 组(GPT-5): 找到了全部 3 个错误,包括那个隐蔽的"除以零"。但 AI 也报告了 2 个"假阳性"——它认为某些步骤有问题,但实际是正确的。评分 7.5。

评审意见: “AI 在形式化验证上强于人类,但假阳性率高。最佳策略是 AI 初筛 + 人类复核。”

任务 5:类比迁移

题目: “代数几何中的’概形’(scheme)概念,在拓扑学中是否有类似的结构?如果有,是什么?”

人类组: 一位代数方向的博士详细讨论了"概形"和"局部赋环空间"的关系,然后类比到拓扑学中的"局部赋环空间"和"环化空间"的概念。耗时 2 小时。评分 8.0。

AI 组: GPT-5 给出了"概形类似于层空间"的类比,但这个类比太浅,没有触及"概形是局部赋环空间"的核心。Claude 4.5 的类比是"概形类似于拓扑流形",但这个类比误导性很强。评分 4.0。

评审意见: “AI 的类比迁移停留在表面相似性上,没有理解深层的数学结构。这是人类数学家的核心优势。”

任务 6:概念定义

题目: “为数学概念’刚性’(rigidity)给出一个统一的定义,使其能涵盖代数几何、拓扑学和动力系统中的不同含义。”

人类组: 一位分析方向的博士提出了一个基于"范畴论中的自同构群平凡性"的统一框架,但承认这个框架在某些情况下过于宽泛。耗时 3 小时。评分 7.5。

AI 组: GPT-5 给出了一个字典式的定义——“在代数几何中,刚性指…;在拓扑学中,刚性指…;在动力系统中,刚性指…"——这不是一个统一的定义,而是一个分类。评分 5.0。

评审意见: “AI 擅长分类,不擅长统一。这需要抽象思维,人类远超 AI。”

任务 7:提出猜想

题目: “基于已知的数学结果,提出一个关于素数分布和随机矩阵理论之间关系的新猜想。”

人类组: 一位博士提出了一个关于"Riemann zeta 函数零点与随机酉矩阵特征值之间的统计对应关系"的猜想,给出了初步的数值证据。评审认为它"有原创性,虽然很大胆”。评分 8.5。

AI 组: GPT-5 提出了一个"素数分布可能遵循随机矩阵理论中的 Tracy-Widom 分布"的猜想。评审认为这个猜想"太泛、没有具体的可检验内容,且和已知的 Montgomery-Odlyzko 定律高度重叠,缺乏原创性"。评分 3.0。

评审意见: “AI 提出的’猜想’本质上是对已知结果的重新表述,没有真正的原创性。提出一个好的猜想需要数学直觉,这是 AI 目前完全不具备的。”

关键洞察

  1. AI 在"搜索、计算、验证"类任务上已经超越人类。 这些任务的特点是"有明确的对错标准"和"不需要创造性思维"。

  2. AI 在"创造、洞察、统一"类任务上远不如人类。 这些任务的特点是"没有明确的对错标准"和"需要深层的数学直觉"。

  3. 最佳研究模式可能是"AI+人类协作"。 AI 负责搜索、计算、验证、初筛,人类负责创造、洞察、判断、统一。

结尾

数学家目前不会被 AI 取代。但数学家如果不学会使用 AI,可能会被"会用 AI 的数学家"取代。

这 7 项任务的对决结果清楚地表明:AI 是数学家的"超级计算器"和"超级图书管理员",但不是数学家的"替代品"。 数学研究中最重要的部分——提出好的问题、定义好的概念、构建统一的框架——仍然需要人类的数学直觉。


实验设计:2026 年 6 月,3 位数学博士 vs 3 个 AI 模型,7 项任务,5 位评审。