CFR与深度强化学习：棋牌AI生产环境的工程取舍

生产环境的算法选型从来不是“哪个算法更强”，而是“哪个算法的短板你的团队能兜住”。CFR和深度强化学习的差距不在牌力上限，而在收敛成本、可解释性与运维复杂度三条工程轴上——这三条轴，论文里通常一个字都不提，却直接决定项目六个月后是活着还是烂尾。

本文专注工程取舍与团队技能要求，博弈原理不展开：非完美信息博弈AI如何近似纳什均衡、如何自博弈训练，已有文章《非完美信息博弈AI是如何做决策的？》专门讲清。先读那篇再回来看这篇，顺序刚好。

CFR族算法最大的工程价值是可解释：每手牌的遗憾值可以导出、可以回放、可以审计，出现争议手牌时能回答“为什么这么打”。对需要向运营方和监管解释行为的棋牌产品，这一点经常比胜率高一两个百分点更值钱——解释不了的AI，在采购验收环节就会被质疑。

代价是收敛速度：CFR需要海量迭代才能逼近均衡，单个玩法的策略表训练普遍以天计，规则一改就要重训。牌型抽象的设计还依赖人工经验：抽象粗了策略有漏洞，抽象细了内存与训练时长一起膨胀，这组取舍全压在工程师的经验上，没有免费的午餐。

深度自博弈强化学习的上限确实更高：以DouZero为代表的路线证明了不做人工牌型抽象、端到端自博弈也能学到强策略，这条路线的可行性已无争议。但可行性不等于经济性——从论文demo到生产系统，中间隔着训练稳定性、算力账和一地超参数。

两个工程坑经常被低估。一是训练成本：自博弈RL的算力消耗普遍比CFR高一个量级，中小团队用几块卡训练，单玩法动辄以周计；二是风格趋同：自博弈收敛后策略趋向单一“最优风格”，四个AI同桌打法雷同，拟人化所需的性格差异反而要靠外挂行为层补回来——模型自己不会长出性格。

生产环境采用混合方案分三层：CFR基线负责合法性与下限，RL策略负责关键节点的上限，行为模型层独立负责节奏、失误与话术。三层解耦之后，任何一层的迭代都不会牵动另外两层重新训练——这是混合架构最大的工程红利，也是它比“单一路线信仰”更适合生产的原因。

// 生产推荐的三层决策栈（示意）
{
  "layer1_baseline": {
    "algo": "mccfr",               // 基线策略表：合法性校验与兜底
    "update_cycle": "per_variant"  // 随玩法规则变更重训
  },
  "layer2_upper": {
    "algo": "selfplay_rl",         // 关键决策节点启用，抬牌力上限
    "trigger": "key_decision_only"
  },
  "layer3_behavior": {
    "modules": ["rhythm", "mistake", "persona", "chat"],
    "owner": "独立于算法训练，按拟人化指标迭代"
  }
}

CFR路线的核心技能是组合优化与牌型抽象设计，算法工程师可以不碰深度学习框架，但必须吃透游戏规则；深度RL路线需要分布式训练、超参调优与训练稳定性经验，是标准的深度学习工程栈。两条路线的招聘画像几乎不重叠，这是选型时最容易被忽略的约束：换路线往往等于换团队。

• 有强规则工程底子、算法人力1-2人的团队：优先CFR基线起步，先把合法性、可解释与拟人化做扎实
• 有GPU资源与深度学习工程经验的团队：可上自博弈RL抬上限，但预算要预留一个量级的算力余量
• 多数中小团队的最优解：混合架构外购——基线与上限由供应商负责，自有团队专注行为层与运营策略定制