不是假设,是正在发生的事

2025年12月,美国加州一起自动驾驶事故诉讼中,被告方(自动驾驶公司)的辩护律师说了一句话:“我们的系统在测试中达到了99.99%的可靠性,这在行业内是领先的。”

法官反问:“这个99.99%是按什么标准测的?”

律师沉默了。

这个场景揭示了AI安全领域最核心的问题:没有公认的安全标准,每个人都在定义自己的"安全"。

标准缺失的代价

案例一:AI医疗诊断的"自信误判"

2025年,一所知名医院部署了AI辅助诊断系统,用于皮肤癌筛查。系统在内部测试中准确率达到95%,医院非常满意。但上线三个月后,皮肤科医生发现了一个令人不安的模式:系统在对某些深色皮肤的病例上,准确率骤降至72%。

原因很简单:训练数据中浅色皮肤的样本占85%以上。系统在浅色皮肤上学到了足够多的特征,但在深色皮肤上几乎是"盲"的。

问题在于:AI系统的准确率报告中没有分肤色统计。如果有一个安全标准要求"分人群亚组报告准确率",这个问题在部署前就能被发现。

案例二:AI司法辅助的"系统性偏见"

2024年,美国某州引入了AI风险评估工具用于保释决策。后续调查发现,该系统对非裔被告的错误高风险评估率是白人被告的2.3倍。这个偏差在系统的测试报告中从未被提及。

如果有一个安全标准要求"分种族、性别、年龄报告偏差指标",这个系统可能根本不会被批准部署。

案例三:自动驾驶的"长尾场景"

2024-2025年间,全球自动驾驶事故中,超过60%发生在新加坡南洋理工大学定义的"长尾场景"中——即训练数据中极少出现或从未出现的情况。这些场景包括:雪天路面上被风吹动的塑料袋、穿着奇装异服的行人、路中间突然出现的动物。

问题不在于自动驾驶系统在"正常场景"下不够好,而在于没有一个统一的标准来定义"需要覆盖的长尾场景集合"。

为什么标准难产?

原因一:技术还在快速变化。 今天定的标准,明天可能就过时了。标准制定者面临一个两难:定得太早,标准跟不上技术;定得太晚,事故已经发生。

原因二:利益博弈。 安全标准会直接影响企业的合规成本。大公司倾向于制定更严格的标准(因为它们有能力满足),创业公司则担心严格的标准会扼杀创新。

原因三:缺乏数据。 制定安全标准需要大量的实证数据——什么样的AI行为是"不安全"的?但AI事故数据往往被企业视为商业机密,不愿公开。

正在出现的曙光

尽管困难重重,AI安全标准建设正在加速:

  • 欧盟AI法案(EU AI Act)于2024年通过,将AI系统按风险等级分级管理,对高风险AI系统提出了强制性安全要求
  • ISO/IEC 42001(AI管理体系标准)已于2023年发布,为组织层面的AI治理提供了框架
  • 中国在2024年发布了《生成式人工智能服务安全基本要求》,对训练数据安全、模型安全、服务安全提出了具体要求
  • NIST AI风险管理框架(AI RMF 1.0)提供了可操作的AI风险管理指南

从业者应该做什么?

等待标准完善不是选项。在标准追赶技术的这段时间里,你可以做的是:

  1. 建立内部安全基线。 即使没有行业标准,你的团队应该有自己的安全底线
  2. 分亚组报告指标。 不要只看整体准确率,按人群、场景分组报告
  3. 建立事故报告机制。 当AI系统出现安全问题时,有清晰的报告和处理流程
  4. 关注标准进展。 参与标准制定,至少关注标准草案的征求意见

AI安全标准不是束缚创新的枷锁,而是保护创新不变成事故的护栏。


你的团队在AI安全方面有什么实践?欢迎分享。