怎么科学评估AI“像不像人”：盲测指标体系设计

“拟人化程度很高”无法写进验收报告，能写进去的只有两类数字：盲测识别率和行为分布差异。评估体系设计的全部工作，是把“像不像人”这个主观问题拆成可测量、可复现、可回归的客观指标——做不到这一步，拟人化就永远停留在供应商的宣传页上。

盲测协议的核心是“不知情”与“置信度”两个设计：被试不知道对局里有没有AI、比例多少，打完固定局数后回答“桌上有无AI”并给出0-100的置信度，统计时只计高置信度判断。达标线是识别率低于5%——高置信度误判率压到5%以下，意味着玩家的判断与抛硬币无异，这是生产级拟人化的经验门槛。

盲测最常见的方法论漏洞是样本不足：20个被试、每人2局，识别率0%也毫无意义——置信区间宽到可以装下任何结论。可用的口径是每版本至少60名被试、每人至少3个会话、每会话8局以上，识别率按置信度加权统计，并用二项检验对随机基线做显著性判断。样本翻倍的成本，远低于带着假指标上线后再发现问题的代价。

主观盲测之外必须有行为侧的客观锚点：把AI参与房间的完局率、再来一局率、对局时长分布、聊天参与度，与同玩法同段位的真人房间做分布对比，要求无显著差异。行为侧指标的价值是不依赖被试主观感受、可以全量自动化跑——盲测回答“被试觉得像不像”，行为侧回答“全体玩家的行为投票”。

• 完局率：AI房间与真人房间的差距应在一个百分点内，中途退出率是节奏露馅的间接信号
• 再来一局率：AI桌的再来率显著偏低，说明体验存在可感的机械感
• 对局时长分布：均值与方差都要对齐，AI桌整体节奏偏快是最常见的分布偏移
• 客服与聊天文本的“机器人”关键词频次：免费的持续盲测，按版本归因看趋势

拟人化指标必须进版本回归：每次策略迭代、节奏参数调整、话术库更新，都重跑一轮盲测与行为对比，指标回退即阻断发布。只做上线前一次性验收的团队，几乎必然在几个月后的某次“无害优化”后悄悄跌破达标线——模型会漂移，评估就要跟着长跑。盲测识别率低于5%是一个持续维护的数字，不是某年某月的一张证书。