为金融打造 ChatGPT——Joseph Kim，OpenAI 金融服务负责人

后半部分更着眼未来：我们仔细分析模型能力提升的趋势，并把这些趋势往未来推演，思考到 2027 年年中、年底时模型能做什么。这对基于模型构建产品的人意味着什么？大家又该如何提前规划，迎接几个月后就会到来的智能能力？

在 OpenAI，我们确实希望这种智能能力不只用于我们自己开发的第一方产品，也能让想创业、想做生意的人，以及希望把它直接整合进公司的金融机构使用。我们会让这些能力都能被他们调用。

你刚才提到了产品和研究；这正是 OpenAI 的核心。我们内部称自己为一家“研究与部署”公司，特意把顺序排成先研究、再部署。我们希望最终改变人们做知识工作的方式，所以工作也按这个顺序展开：先看模型能力、能力将走向哪里、能带来哪些新可能；接着深入考虑要开发哪些产品功能和入口，才能让更多人用上模型的智能。我觉得你提到了我主题演讲里的一页……

过去六个月左右做这个产品，我最大的体会是：在企业市场做产品，必须正视所在行业的现实，并围绕这些现实来构建。这一点很容易被忽略。只从第一性原理出发，你可能会得出一个听起来合理、也能用逻辑论证的结论；但如果忽略了开始做产品时的真实环境，以及行业里正在起作用的力量——比如竞争压力、各方自己的目标——你就做不出正确的产品。ChatGPT 金融服务版也一样。我们对此想得很多，我举个例子：数据是产品设计中非常重要的一部分。

实际情况是，我们把这些 MCP 都拿来测了一遍，发现错误率非常高。接入的一些知名服务，MCP 错误率超过 40%。有些东西纸面上看起来很好，但还是得看看数据，了解实际情况。对金融数据来说，我们发现体验确实很差。想要大规模解决问题，唯一的办法就是把数据放到内部，端到端地控制整个体验。为捆绑数据多付的费用是值得的。这是一个非常符合行业特点的产品决策，而且客户很认可；他们最常提到的就是数据。这个决定奏效了。

我想强调两点。第一，我们做的大部分产品，是基于 Codex——或者说现在的 ChatGPT——插件架构和插件原语构建的。我们在这方面投入了很多时间和精力。OpenAI 是一家挺特别的公司：我们在内部遇到的问题，和初创公司基于 OpenAI 构建产品时遇到的问题很像。很多方面，我的团队就像一家基于 OpenAI 技术构建产品的初创公司。我们也需要找到可扩展的方法，让像我们这样的团队能站在巨人的肩膀上，基于 Codex 构建产品。Codex 很出色：记忆能力好，有不错的技能，而且能持续工作。它有很多优点。

不过我们团队的判断是，Codex 能帮你完成一款成功产品的大约 80%，但还差 20%。我们得想办法把这 20% 补上，产品才有机会赢。我们还有一个判断：如果直接把 Codex 当成金融产品推出，它会失败。所以缺少的那 20% 至关重要。我们是在插件架构上继续构建，使用的原语和所有想在 ChatGPT 之上做产品的开发者都能用到的一样。

我在演讲里说过，我确实认为有人会基于 ChatGPT 插件做出一家价值十亿美元的公司。你可以利用平台已有的通用功能，再加上自己的独门优势——可能是数据、界面改造，也可能是集成。这样的独门优势很有价值，我认为在那里能创造出价值十亿美元的生意。

目前这款产品是给金融从业者使用的知识工作效率工具，它有个很重要的前提：始终有人参与。假设你是一名金融分析师，一天有一长串事情要做，就像软件工程师用 Codex 一样，你会先尝试用 ChatGPT 处理每一项任务。它可能帮你完成 30%，也可能完成 80%，要看任务是什么；但默认始终有人在环路中负责把关。这让我们很容易把审计和复核的责任交给用户，这种设计也很容易解释。

我们正在认真考虑接下来怎么做。下一步的产品会不同于始终有人监看的效率工具。我们主要思考两件事。第一，怎样把产品的安全与防护机制设计得直观易懂。人们最熟悉的事情之一就是如何和别人共事。如果产品的工作方式像与同事、实习生或身边的人合作，大家就能很快上手。我们的想法是让产品的安全机制也像一个人那样运作。

举个例子，读写权限。即使是新入职的软件工程师，也常常要先通过代码审查（readability）之类的流程。公司会设置各种检查和平衡机制，在你开始接触系统之前先把关。人类的工作本来就有监督系统；如果模型像人一样工作，就可以沿用这些机制，也更容易向金融机构解释和推进。我们接下来会大力投入这个方向。至于最后一点，在银行业——也就是我们最初切入的领域——本来就有一套层级复核机制……

模型或人犯下可能毁掉职业生涯的错误，通常是在职级比较高的时候。副总裁承担的风险就比初级分析师大，因为人们默认工作已经经过层层检查。如果董事总经理发现错误，那问题就很严重，说明原本的多道安全网都没能拦住它。

所谓足以毁掉职业生涯的错误，通常是某个事实信息错了，而且这个错误信息改变了结论。这显然是最严重的一类错误。我们看到模型在细节准确性方面进步很大。2022、2023 年大家常说“幻觉”，现在提得少多了。模型在减少事实错误、提高可靠性方面已经有了巨大进步，而且还会继续改善。所以我相当有信心：模型不断进步，再加上已有的检查体系，能让这类错误一路传到董事总经理那里的概率非常低。

我认为模型现在还欠缺、仍需提升的，其实不是避免这种职业生涯终结式错误的能力……

展望 2027 年，我预计模型在人类品味这方面会进步很多。这也是我在主题演讲里想表达的：对于目标比较柔性的任务，模型会更懂人的品味。评价标准不是简单的对或错，而是比较：这个是不是比那个更好？我认为模型今后会在这方面进步很大。

后来我们发展出可验证奖励、环境等机制，构建了很多工具来实现其他类型的奖励和强化学习。大家渐渐忘了，强化学习的早期阶段其实都围绕着人类品味。那怎么用人类品味训练模型？我觉得技术上的答案很简单，实际操作当然复杂得多。实践上就是训练一个奖励模型：让很多人比较两样东西，选出更好的那个。这种方法现在仍然有效。

比如我们做幻灯片模型时就这么做。怎么让模型更会生成演示文稿？我们让很多人比较两套幻灯片，判断哪套更好。人类的审美判断其实非常强，这是我们发现的。人看两张幻灯片，几秒内就能说哪张更好；如果让模型来评判，它可能花很多推理 token 去分析像素、颜色和细节，最后还可能得出错误结论。所以人类对改进模型仍然很有价值。我们会大量依赖人类偏好，把品味这类能力教给模型。

另一个先例让我们相信这套策略行得通，那就是编程。编程问题还没有完全解决，但可以说已经完成了 80%，剩下 20% 也在持续推进。编程能力是可验证奖励和人类品味的结合。可验证奖励可以检查代码能否编译、有无语法错误、函数输出是否符合预期；但优秀的软件工程还要看系统设计是否清晰、能否长期维护、是否容易写单元测试，以及是否符合大多数开发者或行业认可的范式。

从这个角度看，很多金融工作也很像编程。比如 Excel 模型的求和是否正确、有没有引用错误，这些都能验证，可以做第一轮合理性检查。但还有很多主观判断：我会不会用这种方式搭模型？我开始接触金融后，了解到业内会说模型有没有“手感”。你稍微改变几个输入，再看输出；有经验的金融从业者能判断数据在模型里流动得是否合理。这种人类偏好很像判断代码是否干净、写得好不好。我认为我们在编程领域的成功，让我有信心在金融领域解决很多类似问题。

第二，我们通常希望模型擅长做人类不擅长或不喜欢做的事。我聊过的很多人——当然也有例外——都不喜欢搭 Excel 模型。这种工作很繁琐，特别注重细节，也容易出错。幻灯片也一样：复制 logo，再把它们精确放到页面指定位置，是很多人不喜欢做的琐碎工作。这些就是我们关注这类任务的动力之一。

所以，产品方向由两件事共同推动：一是现有模型已经擅长某些任务；二是人们喜欢或不喜欢做哪些事。这两者结合在一起，决定了我们做什么。我觉得这两个方向里容易取得的成果已经做了不少。到了 2027 年，我们会开始沿着分析师的工作层级往上走：从初级分析师能做的任务，扩展到副总裁助理，再到董事总经理的工作。

层级越高，目标就越模糊。一张幻灯片显然好不好、能不能拿给客户看，比较容易判断；但一个投资想法是不是好，要等三年后才能根据市场表现给出明确、具体的答案。目标越模糊，训练模型、提升模型的难度就越大，对研究来说也越来越难。不过并非无法解决，需要大量研究投入、优质数据，以及领域专家的反馈。我们希望得到 P99.9 水平的专家反馈，让模型尽可能接近人类专家。

我不觉得这是不可逾越的问题。我们需要继续扩大基础模型，也需要研究机构把注意力放在这个重要问题上。我所在的团队正在把它列为 OpenAI 的重点工作。两方面结合起来，我有信心我们在 2027 年会取得很大进展。

第二，编制标准答案或建立正确的评分方法非常费工夫。如果评分标准不对，评测就很容易被钻空子、被奖励机制“黑掉”。模型可能在评测中得高分，实际目标技能或能力却很差。

所以评测真的很难，不只是金融工作如此，各个领域都一样。目前我们认为还没有很好的金融工作评测。有不少先前研究，我可以提一下我们做过的 GDP 评测，它覆盖的知识工作范围更广。大家看 GPT-6 Astra 发布时会发现，我们没有再提 GDP 评测，因为它已经完全饱和了；那些还没饱和的部分基本上也坏掉了。所以我们不再报告或跟踪它。

GPT-6 Astra 有个难点是，我们当时没怎么谈金融评测。内部确实有一些，但当时不想透露太多，还没准备好分享；之后会公布。问题是，当时我们没有好办法通过这些评测展示金融任务上的进步。

评测里还有一种有趣的偏差：数字好看时，研究者就以为模型变强了，不会再调查；如果模型明明强了很多，评测数字却不好看，或没有按预期增长，大家才会去查。这种偏差会影响我们调查评测的方式。GPT-6 就遇到过类似情况：我们用它跑了一组金融评测，分数几乎没变化。于是我们想：“怎么回事？来看看这套评测。”深入检查后发现很多地方有问题：评测已经饱和，而模型答错的问题，是因为标准答案不正确、提示词写得不清楚，或评测本身还有其他缺陷。

总之，我的团队现在正在做一套更好的评测，目标是预测模型能否自动化某个具体职业的工作。比如投行评测，如果分数不错，就能说明模型大概可以自动完成投行初级分析师的很多工作。

第二，我们团队确实在招聘。产品获得了很好的客户反馈，所以我们正在快速扩张。团队岗位很多，我快速提几类：常规的前端和后端工程师，也就是传统产品开发岗位；我们非常需要优秀的产品经理。我认为，优秀的产品管理在某种程度上是这个领域取得成功的主要瓶颈。因此我们希望招聘投行、股票研究、资产管理等领域的产品经理。

还有一个特别想提的岗位，我们称之为“领域专家”。我们在编程方面做得不错，其中一个原因是训练模型、帮助模型进步的人知道好的代码应该是什么样子。这给模型改进带来了很大助力。但在金融领域，我们没有这样的优势。因此我们正在招募许多能够带来金融专业知识的人，和工程师、研究人员、产品经理一起改进模型和产品，让它们适用于各自的专业领域。如果这些岗位适合你，欢迎联系我。我在 LinkedIn 上可以找到，招聘信息也挂在我们的招聘页面，很容易搜到。