文章来源：华表生态资源交易平台 发布时间：2025-11-12 17:57:02 浏览次数：33
大家好，我们每天都在思考一个问题：如何系统性地催生并加速“AI+”的伟大创新？我们习惯于制定宏伟的蓝图、清晰的里程碑和精密的 KPI，似乎伟大的成就必然是周密计划的产物。然而，纵观科技史，真正颠覆性的突破，往往诞生于意外和迂回之中。
今天，我想与各位分享一个深刻的案例——OpenAI 早期的发展历程。这个历程完美诠释了一个核心观点，正如肯尼斯·斯坦利与乔尔·雷曼在《Why Greatness Cannot Be Planned》一书中所揭示的：伟大的成就/创新/突破无法被计划 。OpenAI 并非一蹴而就地规划出 ChatGPT 的辉煌，而是通过一个看似“不务正业”的项目——让 AI 学会玩复杂的《Dota 2》游戏——意外地铺就了通往大语言模型时代的基石。这背后，是一条关于智能涌现、技术倒逼和“踏脚石”思维的深刻启示。
一、OpenAI Five —— 一场“无心插柳”的智能涌现实验
（一）为何是《Dota 2》？—— 复杂协作场景的终极试炼场
在 2018 年前后，当业界普遍聚焦于图像识别、语音处理等相对“标准”的 AI 任务时，OpenAI 却选择了一个极不寻常的方向：攻克《Dota 2》。这并非一个随意的选择。对于追求通用人工智能（AGI）的 OpenAI 而言，《Dota 2》提供了一个近乎完美的“产业应用场景”雏形，它蕴含了现实世界决策的复杂性：
1. 长时序决策：一场游戏平均耗时 45 分钟，智能体需要考虑远期收益而非眼前得失。
2. 多智能体协作：五个英雄需要默契配合，策略高度协同。
3. 信息不完全与不对称：战争迷雾导致信息不完整，需要基于不确定信息进行推理。
4. 巨大的状态空间：游戏中的变量组合数量远超宇宙中的原子数，传统穷举法完全失效。
这个场景，本质上是对一个能够在复杂、动态、多智能体协作环境中进行高效决策的“大脑”的终极考验。OpenAI 的目标不是做一个“游戏 AI”，而是借此探索通向 AGI 的路径。这正印证了“新的技术路线也需要找到实际的应用场景，在产业中倒逼学术发展”的核心论点。
5. 自我对抗训练与智能涌现的技术密码：为了驯服这只“复杂性巨兽”，OpenAI 开发了名为 OpenAI Five 的系统，其技术核心是自我对抗训练和大规模强化学习。
（二）核心机制：自我对抗训练
OpenAI Five 从随机参数开始，通过与自己或过去版本的对战来学习和优化策略 。这种训练方式创造了一个“军备竞赛”式的演化环境：今天的强者就是明天的弱者，智能体被迫不断探索新的、更优的策略来战胜“昨日之我”，从而有效避免了策略崩溃，并确保了对多种对手的鲁棒性 。这恰恰是强化学习的本质——通过智能体与环境交互，通过试错和奖励信号来优化策略以最大化长期奖励 。
（三）算法与架构支撑
在算法层面，OpenAI Five 主要采用了近端策略优化 算法 。PPO 因其在处理长时序任务和大规模资源方面的出色表现而成为首选，它通过采样数据、优化目标函数和梯度下降来稳定地优化策略 。模型架构上，每个智能体包含一个 LSTM 网络，用于处理游戏状态并输出动作概率 使其能够处理高维、连续的观察空间和复杂的决策问题 。这一切都依赖于名为 Rapid 的分布式训练系统，支持大规模并行处理和高效的梯度下降 。
（四）“智能涌现”的奇迹
最令人惊叹的，是训练过程中出现的“智能涌现”。在宏大的规模下（相当于每天自我对战长达数百年），一些超越初始设计的复杂行为自发地出现了。例如，为了鼓励团队协作，OpenAI 设计了“团队精神”参数 。随着训练推进，AI 们不仅学会了高效配合，甚至出现了人类高手才能领悟的战术，如“献身”、“诱敌深入”等。这种在复杂系统中通过协同演化而涌现出的复杂行为 正是 OpenAI Five 项目的核心价值所在。它验证了通过足够复杂的仿真环境和深度强化学习，可以“涌现”出难以被直接编程的群体智能 。
2019 年，OpenAI Five 击败了两届《Dota 2》世界冠军 OG 战队。这一成就的深远意义，远超一场游戏比赛的胜利。
必须明确，两者在应用领域和目标上存在差异：OpenAI Five 专注于游戏策略，而 GPT 系列专注于自然语言处理 。然而，它们之间存在着一条深刻的方法论和工程能力上的血脉联系。
RLHF 的核心目标是让大型语言模型的输出更符合人类偏好 。其训练过程分为几步：首先，用人类标注员对不同模型输出进行排序；然后，用这些数据训练一个“奖励模型”；最后，以该奖励模型为环境，使用强化学习算法（通常也是 PPO）来微调语言模型。
这其中的桥梁，正是 OpenAI Five 积累的经验。
（二）对强化学习规模的信心与能力：OpenAI Five 证明了，只要有稳定的算法（PPO）和足够强大的工程基础设施，强化学习可以应用于极其复杂的任务。这个项目成功驾驭了每天数百万年的模拟经验，解决了大规模并行训练中的无数工程难题。这种“敢用、会用、善用”大规模强化学习的组织能力和技术储备，是教科书和论文无法给予的。
（三）从环境奖励到模型奖励的范式转换：在 OpenAI Five 中，奖励信号是清晰且延迟的——比赛的胜负。RLHF 的天才之处在于，它将这个思路抽象出来：奖励不一定要来自环境，也可以来自一个模型。人类偏好数据被用来“学习”出一个奖励模型。这个奖励模型本身，就成了强化学习智能体（语言模型）在微调阶段所要优化的目标。这本质上是将 OpenAI Five 中“与自我博弈”的模式，升级为了“与人类偏好模型博弈”。
（四）PPO 算法的再次验证：OpenAI Five 使得 PPO 成为了 OpenAI 内部最受信赖的、经过大规模实战考验的强化学习算法。当面临 GPT-3.5/4 这类万亿参数级别的微调任务时，选择一个成熟、稳定、可扩展的算法至关重要。PPO 在 OpenAI Five 上的成功，为它在 RLHF 中的关键应用铺平了道路。
因此，OpenAI Five 不是一个岔路，而是一个至关重要的 “踏脚石”。它让 OpenAI 在强化学习领域完成了从理论到工业化实践的惊险一跃，为后来将这一范式成功应用于语言对齐任务，积累了最宝贵的经验、工具和信心。
如果仅仅停留在学术层面，研究者可能满足于在简化版游戏上发表论文。但 OpenAI 设定了一个极其困难、如同产业级挑战的目标——击败世界冠军。为了达到这个目标，团队被迫在多个方面进行原始创新：
（一）算法稳定性：必须找到能在如此长训练周期和复杂策略空间下保持稳定的算法，这推动了对 PPO 等算法的深度优化。
（二）工程效率：必须搭建前所未有的分布式训练基础设施，否则实验周期将无法接受。
（三）奖励设计：必须精细设计奖励函数（如团队精神参数）来引导期望的行为，这本身就是对多智能体协作理论的贡献。
正如新西兰酋长队利用强化学习优化帆船设计一样 ，一个真实、高标准的场景，会成为技术突破的最佳催化剂。OpenAI Five 这个“场景”，逼迫团队将强化学习的理论、算法和工程推向了当时的极限。这些在“炼狱”中磨砺出的能力，构成了 OpenAI 的核心护城河，并直接支撑了后续更为宏大的项目。
理解了 OpenAI 的历程，我们更能深刻领会“伟大无法被计划”背后的深层原因。这背后存在着根植于人性的认知偏差和资源分配的结构性矛盾。
1. 目标导向的局限性：过度依赖具体目标和计划，会窄化探索者的搜索领域，限制想象力与创造力 。如果 OpenAI 最初的目标是“打造一个聊天机器人”，他们很可能永远不会启动《Dota 2》项目，从而错失了强化学习规模化应用的关键经验。
2. 认知局限与偶然性：人类的认知有限，难以精准预知复杂世界中的关键节点和最终产物 。历史上的许多重大发明源于无意发现和随机突变 。
3. 资源分配的结构性矛盾：大型技术飞跃充满不确定性，中央计划式的 R&D 资源分配极其困难 。项目过程中常面临“承诺升级”（不愿放弃失败项目）、“过度自信”等认知偏差 ，以及不同利益相关者对目标定义的冲突 。一个看似“无用”的项目，在严格的计划体系下，很难获得持续的资源投入。
那么，作为创新战略的制定者和推动者，我们该怎么做？答案不是放弃规划，而是改变规划的范式。
斯坦利和雷曼提出的“踏脚石”思维，为我们提供了新视角。我们不应仅仅盯着远方的“终点线”（如 GPT-4），而应致力于发现和创造那些能够通往未知但更有趣地方的“踏脚石”。OpenAI Five 就是这样一个典型的踏脚石：它有趣、有挑战性，并且它所通向的未来，在项目启动时是模糊不清的。
对于华表生态资源交易平台而言，我们的使命，正是要构建一个能催生无数“踏脚石”的生态系统。我们的工作重点应是：
（一）定义和开放富有挑战性的“场景” ：如同《Dota 2》，产业界有无数复杂的真实问题等待被 AI 解决。我们要做的，是识别、定义并向创新者开放这些场景，而不是指定技术路线。
（二）鼓励多样性探索：支持那些看似“离经叛道”但蕴含巨大潜力的项目。创新不是单行道，而是在一片茂密的丛林中探索，我们需要保护那些可能通向新大陆的小径。
（三）构建“容错”与“迭代”的文化：技术失败是学习的一部分 。我们要建立一个允许试错、鼓励快速迭代的环境，让“踏脚石”能够被不断地发现、检验和利用。
回望 OpenAI 从 Five 到 ChatGPT 的旅程，我们看到一条非线性、充满涌现的创新之路。它始于一个无法被完美计划的目标，通过一个极具挑战性的应用场景，倒逼出关键的技术突破和工程能力，这些积累最终成为通往下一个伟大成就的坚实踏脚石。
这给我们的启示是根本性的：我们无法计划伟大，但我们可以创造伟大得以发生的条件。 在华表生态资源交易平台，我们的战略并非是绘制一张精确的未来地图，而是去勘探和培育一片肥沃的土地。我们要做的是，引入创新的种子（AI技术），提供充足的阳光雨露（应用场景、算力资源、数据资本），然后保护这片生态系统免受“计划性思维”的过度修剪。
让我们一起，从追求“可计划的成功”，转向拥抱“可孕育的涌现”。因为真正的伟大，总在不经意的转角处，等待那些勇敢的“踏脚石”发现者。
作者简介：
亚太人工智能学会AIFG专委会 创始主席 王子轩
华表生态资源交易平台 副主席
