一个震惊所有PM的数据
某头部AI对话产品的DAU在2025年Q3增长了40%，团队开香槟庆祝。但当我们拉出更深层的数据时，所有人都沉默了：用户平均会话时长下降了35%，单次会话中AI被用户"纠正"的次数上升了60%。
DAU在涨，但产品在变差。
这就是AI产品用传统指标衡量的陷阱。DAU、留存率、GMV这些指标对于一个AI产品来说，就像用体温计量汽车的马力——量错了东西。
为什么传统指标不适用
传统产品的指标建立在"用户主动使用"的基础上。用户打开App、点击功能、完成交易——这些行为是主动的、有意识的。但AI产品中，用户的行为模式完全不同：
用户可能打开AI产品，输入一个问题，得到不满意的答案后就走了。DAU算到了，但产品价值为零。用户可能用了AI产品30分钟，但其中20分钟都在修改AI的错误输出。时长算到了，但体验是负的。
AI产品的核心价值不是"用户用了多久"，而是"AI帮用户省了多少时间"。
AI产品专属指标体系
我们把AI产品的指标分为三层：
第一层：质量指标（Quality Metrics）
- 准确率/精确率/召回率：模型输出的基础质量
- 幻觉率：AI编造信息的比例
- 任务完成率：用户意图是否被满足
- 首次响应成功率：第一次回答就解决问题的比例
第二层：效率指标（Efficiency Metrics）
- AI采纳率：用户直接使用AI输出的比例（不修改）
- 编辑距离：用户对AI输出的修改程度（越低越好）
- 平均解决轮次：一个需求需要几轮对话才能解决
- 时间节省率：AI帮助用户节省的时间 vs 用户自己完成所需时间
第三层：价值指标（Value Metrics）
- 任务替代率：AI完全替代人工完成的任务比例
- 用户能力提升度：使用AI后用户产出质量的提升幅度
- 用户信任度：用户对AI输出的信任程度（可通过"确认行为"来衡量）
- 推荐意愿：用户是否愿意推荐给别人（但需要结合具体场景）
最被低估的指标：编辑距离
在所有指标中，编辑距离是最被低估的。它衡量的是从AI输出到用户最终使用版本之间的修改程度。
编辑距离高 = AI输出质量不行，用户需要大量修改。编辑距离低 = AI输出质量好，用户直接使用或微调。
而且编辑距离是一个自动可采集的指标，不需要用户主动反馈，数据量级大、客观性强。建议所有AI产品团队都把这个指标纳入核心监控面板。
金句
“DAU告诉你的是’多少人来了’，编辑距离告诉你的才是’AI有没有用’。前者是虚荣指标，后者是真金白银。”
一个警告
指标不是越多越好。每个AI产品都应该根据自己的核心场景，选择3-5个最关键的指标重点监控。指标太多，团队会迷失在数据中。少即是多，准即是好。