用户说「AI不太好用」，但你说不清楚哪里不好

2026年，一位AI产品经理做了一次用户访谈。用户说：「AI客服有时候很聪明，有时候很蠢。比如我问’我的快递到哪了’，AI能准确回答。但我问’为什么我的快递在XX中转站停了3天’，AI就说’建议您联系快递公司’。这很蠢。」

PM很困惑：AI为什么在「简单问题」上表现好，在「复杂问题」上表现差？怎么系统性地评估AI的「能力边界」？

传统用户研究方法（访谈、问卷、可用性测试）在AI产品上「失效」了。因为AI产品是「概率性」的——同一个用户，同一个问题，AI每次的回答可能不同。用户的「体验」是不稳定的，传统「一次性的」用户研究方法无法捕捉这种「不稳定性」。

金句：AI产品用户研究，不是「问用户好不好用」，而是「分析AI在什么情况下好用，什么情况下不好用」。

AI产品用户研究的「新方法」

方法一：Bad Case分析。 不是「看整体数据」，而是「系统性地分析AI的失败案例」。收集1000个AI回答失败的case，分类、找规律、总结AI的「能力边界」。AI在「模糊问题」上失败率高？AI在「长尾问题」上失败率高？AI在「情感问题」上失败率高？

方法二：Prompt变异测试。 同一个用户意图，用100种不同的表达方式测试AI——「我的快递在哪」「查一下我的快递」「快递到了没」「单号XXXX到哪了」……AI是否对「不同表达方式」有一致的理解？如果用户换一种说法，AI就答不上来，说明AI的「鲁棒性」差。

方法三：长程对话测试。 AI产品不是「一问一答」，而是「多轮对话」。用户可能会「追问」、「质疑」、「补充信息」。AI是否能「记住」上下文？是否能「理解」追问？是否能在多轮对话中保持「一致性」？

方法四：A/B测试。 不是「主观判断」，而是「用数据说话」。两个版本的AI Prompt/模型，同时上线，对比用户满意度、任务完成率、用户留存率。数据告诉你「哪个版本更好」。

金句：AI PM的用户研究，从「理解用户」变成了「理解AI的失败模式」。