--- id: "9v42ZOdiBJY" title: "OpenAI 为何竞相打造超人级电脑操作能力" channel: "a16z" host: ["Seema Amble","Fabrizio Serafini"] guests: ["Ari Weinstein","James Sun"] date: "2026-10-26" updated: "2026-10-27" duration: "44:14" duration_seconds: 2654 source_type: "youtube" youtube: "https://www.youtube.com/watch?v=9v42ZOdiBJY" canonical: "https://pod-exp.pages.dev/9v42ZOdiBJY/" transcript_jsonl: "https://pod-exp.pages.dev/9v42ZOdiBJY/transcript.jsonl" language: "zh-CN" translation: true translated_from: "en" timestamp_precision: "block" topics: ["AI 智能体","企业软件","AI 安全","产品"] series: ["OpenAI","AI 与软件"] --- # OpenAI 为何竞相打造超人级电脑操作能力 > 中文译文，由英文原音字幕翻译整理，不是官方逐字稿；引用原话请核对英文原视频。说话人标签由整理者依上下文标注，带「未确认 / 未标注 / 不确定」等字样的标签不可靠。时间戳一般为块级（所在时间块的起点），不是逐句时间；正文自带 [hh:mm:ss] 的段落除外。 **内容提要：** OpenAI 的 Ari Weinstein 与 James Sun 和 a16z 主持人讨论电脑操作智能体如何从实验能力走向日常工具。更快、更便宜、更可靠的模型让智能体可以处理消费者琐事，也能操作企业里缺少 API 的旧系统。企业落地的关键包括沙箱、人工审批、审计日志和清晰的控制边界；开放网络还要面对广告商业模式与智能体访问之间的冲突。嘉宾认为，采购、财务对账、销售和餐饮运营等繁琐流程是眼下的机会，而新软件也可能变得更个性化。未来产品需要让人和智能体顺畅协作，并逐步从用户适应工具转向工具主动适应用户。 ## [0:01] 开场 · YouTube **Ari Weinstein：** 我们现在已经把电脑操作能力推进到一个阶段：速度超过普通人。我认为，我们正接近超越人类水平。 **Seema Amble：** 你觉得哪些任务已经可以交给智能体？哪些还需要人来检查和纠正？ **Ari Weinstein：** 现在的电脑操作智能体，尤其是 Astra，已经能做一个人会做的任何事。我们会思考，更快、更强的模型能带来哪些新的消费者体验。企业这边，安全自然就更受关注：怎样控制人在环节中的参与程度，怎样确保可审计性？这和我们以往构建的东西都不一样。过去开发者得做些工作才能接入，比如搭建连接器或 MCP 服务器；电脑操作则能适用于一切。现在模型能力已经够强，运行成本也逐渐低到可以规模化。企业应该考虑自动化哪些事情？ **James Sun：** 我把它分成两大类。第一类是…… ## [0:51] GPT-6 Astra 为消费者与企业带来什么 · YouTube **Seema Amble：** 欢迎收听 a16z 播客，我是 Seema Amble，今天和同事 Fabrizio Serafini 一起主持。八月，我们写过电脑操作智能体如何开始在公司里承担真正的工作。今天请来 OpenAI 的 Ari Weinstein 和 James Sun，请他们从自己的角度聊聊电脑操作智能体的发展，以及未来。Ari、James，感谢你们来参加。 **Ari Weinstein：** 很高兴来，感谢邀请。 **Seema Amble：** Ari，先请你介绍一下 Astra 哪些方面推动了电脑操作智能体的发展，真正解锁了什么？ **Ari Weinstein：** Astra 是个很出色的模型，很多方面都很强。在 Astra 之前，我们的电脑操作模型已经很不错了，比如 Soul 本身就很擅长电脑操作。按我个人的体验，Astra 在一些边缘能力上有帮助。首先，它平均速度稍快，因为完成同一任务所需的思考 token 更少。它也更擅长某些创意工作。比如发布视频里有个演示，你跟它说话，它就在 Microsoft Paint 里画东西；它做这类事情强得多，我想这种能力也可能迁移到其他创意任务。 我觉得最后一点是，它在边缘情况下更可靠。我会觉得自己更信任它。这种差异不容易察觉，却很重要：可靠率 99% 和 97% 之间有很大区别。我感觉它的可靠性确实又提高了一点，而且效果相当具体。 **James Sun：** 再补充一点，Astra 也是我们对齐程度最高的模型。这也关系到信任。看它的系统卡就会发现，它抵御提示注入的能力强得多，也更不容易执行任何非预期操作。企业把它用于工作，尤其是敏感事项——比如采购、和供应商或客户沟通——会觉得安全得多，这非常令人振奋。 创意方面也有些有趣的事。我们内部让 Astra 和 5.6 玩电子游戏，它每次都赢。网上也有人发了很酷的帖子，说 Astra 能在大约 30 小时内打通《辐射》。它玩游戏也非常厉害。我不知道这最终会转化成什么，不过确实很令人兴奋。 **Fabrizio Serafini：** 我想进一步问问消费者和企业使用计算智能体的差别。围绕这类智能体的配套机制和影响很不一样。你们怎么看这两个方向，哪边更令人兴奋？ **James Sun：** OpenAI 的目标是打造对所有人都有用的产品。有意思的是，Ari 更偏消费者产品，而我花更多时间在企业侧。消费者产品一直是我们推动能力前沿的地方。正如 Ari 提到的，Astra 比之前的模型快得多，因此我们会思考，更快、更强的模型能带来哪些新消费者体验。 在企业这边，安全自然更值得关注。我认为，跟大公司交流时，电脑操作的企业用途其实相当明显：企业里有大量没有 MCP 工具的旧软件，已经用了 15 到 20 年，有时普通人甚至很难上手。界面很多都像是上个十年留下的，你甚至不知道一些关键功能该怎么操作。我们看到有公司制作 skills，教模型更好地使用这些软件。所以可以这么理解，企业是…… ## [4:53] GPT-6 Astra 为消费者与企业带来什么（续） · YouTube **James Sun：** 企业在这方面可能已经走在前面一阵子，而现在各家公司正在追上来，试着弄清楚如何应对。消费者这边，我们则在探索软件目前还做不到的下一类用途。Ari，你可以多讲一点。 **Ari Weinstein：** 消费者用途对我来说特别有意思：怎样让智能体帮你处理日常生活里那些烦人、耗时的事情，替你省出很多时间，让你能专注于真正想做的事？我很喜欢看到 dot 的发展：每个 dot 都有自己的电脑，你可以让它在云端替你办事。它有完整的网页浏览器，可以替你买东西、预约理发，或者做你想做的其他事情。这个方向已经很有趣，未来还有很多值得期待的可能。 ## [5:43] OpenAI 团队如何使用 dots · YouTube **Fabrizio Serafini：** 说到 dots，这正是我想问的。我想 James 你可能会用 dot 来梳理产品反馈。能不能多分享一点？我很好奇你们怎样使用 dots，电脑操作又能让它们做什么？ **James Sun：** 我觉得 dots 有几个很酷的地方。第一，它很主动。我在个人生活和工作中都多次感到惊讶：dot 会主动指出一些本来会被我遗漏的事。前几天就是这样。公司内部的邮件系统里，外部邀请不会自动显示在日历上，所以我经常错过外部会议。现在 dot 会帮我发现：“收件箱里有个邀请，但日历里没有。要我在 Gmail 里接受它，让它显示出来吗？”这救了我。事情虽小，却很重要。 我也让它主动寻找一些任务。它很擅长处理目标不总是那么具体的情况。比如我们内部用 Slack，消息一直很多。我以前用自动化和 Codex 做过一个 Slack 定时任务，每小时或每半小时去抓取消息，但后来我把很多通知都忽略了，因为有时有用，有时没用。用 dots，我可以给它一个高层次的目标，比如：“我汇报链上的任何人说了什么，都提醒我。”或者：“有人给某些产品提了关键反馈时，你自己判断一下，再告诉我。” 由于它有一台云端电脑，我还搭出了很酷的工作流。有人提交反馈时，通常会附 Sentry 日志。我可以让它使用云端电脑，也操作我本地的浏览器；dots 能同时控制本地电脑和云端电脑。它会登录 Sentry，取出日志、分析内容，再给我反馈。这样一来，从判断哪些反馈重要，到查看反馈、去 Sentry 下载日志、把日志交给 Codex 并询问分析意见，整个流程都省下来了，现在可以自动完成。 所以，至少就这些主动执行、运行时间较长、每次形态不完全相同的任务而言，dots 很好用…… ## [8:05] 接近超人水平：速度、成本与控制 · YouTube **Fabrizio Serafini：** 我们刚才谈到可靠性、速度、token 用量和效率。随着你们持续改进并推出产品，如何平衡这些因素？ **Ari Weinstein：** 我们很看好电脑操作，在 OpenAI 投入也很多。我认为目前我们已经做到了最快、最便宜、也最可靠的电脑操作产品，而且还有很大的提升空间。我们花了很多时间研究速度。速度这个问题很有意思：电脑操作的优势之一是能在后台执行任务，所以有些时候花多久并不重要，你可以继续做别的事。但有时你想盯着它，确认它操作正确；或者它必须先完成某件事，后续事情才能开始。 速度很重要，因为你不想产生“我自己做还更容易”的感觉。现在电脑操作已经比普通人操作电脑快了。我认为我们正接近超人水平，也就是比电脑高手——可能就是我们这桌上的某个人——还快。到那时会是一次巨大转变，改变大家和电脑互动的方式：凡是你能手动做的事，智能体都能更快完成。除非你有特别理由想亲自做，否则默认情况下，你大概会希望智能体代劳。这会让我们打造各种很酷的用户体验。 我们也有策略提供不同质量、不同价格的多种模型，不同任务可以选不同模型。同时，便宜模型的电脑操作能力也在不断提高。所以随着时间推移，人们会更有差异地为不同任务选择不同模型。 **James Sun：** 我再补充一点：怎样让客户控制安全性、可靠性、自主程度和速度？模型较慢时，你可以看着它操作，但能做的任务就受限了，因为你不能一直坐在这里盯着它；那样它比你自己做还低效。但当模型快到你不可能再观察、审计它的每一步时，怎样让企业控制人在环节中的参与程度和审计能力，就尤其重要。 几个月前，作为 Astra 的一部分，我们推出了一组企业控制功能，让企业选择需要多少人工参与。比如，他们是否要让智能体自动批准所有操作？我们有个很棒的系统叫 Guardian，也有应用里的自动批准功能：由一个很强的模型逐一检查电脑操作智能体采取的每个动作，判断是否安全、是否符合意图。消费者可能希望它什么都做、不必征求批准；企业则可以决定哪些类型的操作可以执行。随着电脑操作智能体也变得超人级、开始承担各种工作，控制会越来越重要。 ## [11:24] 开放网络上的智能体与广告问题 · YouTube **Fabrizio Serafini：** 完全同意。随着你们推出更多企业用途，雇主既期待效率，也会担心这会释放出什么。再从另一面看，应用软件公司面对电脑操作智能体访问他们的旧工作流软件时，有什么反应？你们关注的是消费者或企业用户使用的智能体本身吗？ **James Sun：** 我觉得这个问题在开放网络上尤其有意思。对于公司批准并使用的软件，情况其实比较直接：当然希望员工能自动化工作，不必亲自做那些繁琐的事。但到了互联网，就有好几类情况。 有些公司的商业模式和智能体使用其产品并不相容。比如完全靠广告营收的广告商和出版商：如果智能体替用户浏览网站，广告收入从哪里来？在很多地方，智能体产生的广告曝光并不算作真正的收入。这是我们一直在研究、也和合作团队一起处理的问题。 另一类公司则很愿意让电脑操作智能体使用他们的网站。许多公司正在采用让人和智能体都能使用网站的标准。比如我们很看好 WebMCP，也已经在应用内浏览器里支持了它。可以想象，智能体提升了网站使用体验，却没有完全取代它。依我看，浏览互联网仍然很有趣。我还是喜欢逛商店、看看酒店、航班和各个地方。 可以设想一种体验：智能体做完所有繁琐工作，但仍然给用户留出浏览空间。到了最后，用户说：“好，现在我要完成交易，填写信用卡等信息。”然后再把流程交回智能体。WebMCP 是一种有意思的方式：人和智能体一起通过网站本身这个界面交互，而不是只通过 API。这些就是我的一些想法。 ## [13:51] 哪些任务可以交给智能体 · YouTube **Fabrizio Serafini：** 换个话题，我们想进一步聊聊把一项工作从头到尾完成意味着什么。你们觉得怎样算是合适、范围明确、可重复的任务？哪些任务已经可以交给智能体，哪些还需要用户检查和纠正？ **Ari Weinstein：** 总体来说，我发现现在的模型已经很有能力，几乎能做任何你在电脑上能做的事。我会逼自己养成一个习惯：每次遇到任务，首先想能不能直接交给智能体。当然，有些事情比较敏感。比如给别人发消息，我希望感觉那真的是我发出的。但整体来说，Astra 这样的电脑操作智能体已经能做一个人会做的任何事。 以前我会担心需求不够具体、描述不够明确，但现在模型越来越擅长处理模糊指令。比如 Astra 推出了灵活输入功能：它可以向你追问细节；如果你没及时回复，它会继续执行，并自行补足所需的上下文。对于可重复的工作流，最好还是预先定义要求，有点像写产品规格说明。但一般来说，除非有非常敏感的事需要你亲自参与，我现在做什么都会先想到电脑操作模型。我也想知道你是不是这样。 **James Sun：** 是的。我也在努力养成随手使用它的习惯，因为它太好用了，但有时人很容易陷在旧的做事方式里。电脑操作这项技术很酷的一点，是它的通用性。它能配合任何应用使用，不像我们构建的其他东西，必须由开发者做些工作来接入、搭建连接器或 MCP 服务器。电脑操作的方式和人一样，直接使用应用。如果你还没怎么接触这项技术，值得理解这一点：它让智能体像人一样使用电脑，具备你拥有的所有能力。这很强大。 **Ari Weinstein：** 补充 James 刚才说的，我现在已经不太把任务分成“电脑操作任务”和“非电脑任务”了。它们常常是连在一起的。对我们来说，电脑操作并不是一个单独拿出来使用的工具，而是模型完成各种事情时可以调用的通用 API。任务越有雄心、越复杂，智能体在过程中某个阶段用到电脑操作的可能性就越高。 我唯一可能不使用电脑操作的情况，是任务非常简单，我自己点两下就更方便。但电脑操作越来越快之后，也许我都不用亲自做，只要用语音说一声，它就能和我一起操作电脑。这些想法挺有意思。你觉得呢？ ## [17:22] 如何让企业信任电脑操作 · YouTube **Ari Weinstein：** 对企业用户来说，有什么建议能帮助他们放心使用？你们当然已经非常认同电脑操作的价值，但企业用户有时会犹豫：人类虽然要一步步点，做得可能还更差，可毕竟有责任归属，而且那个人受过培训。这些都是常见的反对意见。你们怎样说服他们？ **James Sun：** 过去一段时间我们和企业进行了很多交流。关键是我们把它分成两层。第一层是怎样创建确定性的控制机制。我认为，让企业感到安全的一大原因，就是管理员可以明确规定：某些任务或数据源过于敏感，不能使用。虽然我们的模型对齐程度前所未有，我认为在防范提示注入等方面也比大多数人做得好，但如果企业管理员能明确划定边界，仍然会更有安全感。 我们推出了两项企业功能。第一，可以确定性地为智能体创建沙箱：规定它可以使用哪些应用、不能用哪些应用，可以访问哪些网站、不能访问哪些网站。第二，是人在环节中的参与：哪些操作需要人工介入？比如每当有下载或上传，都必须由人批准；每当访问新网站，也必须由人批准。这些都是企业可以调节的选项。 另一层是向企业管理员展示我们内部运行的各种评测，说明模型的对齐程度，包括内部评测和第三方评测。我们也在各个环节做一些基础工作，帮助人们对这类产品建立信任。我们知道它很新，对人来说有时像魔法，甚至有点陌生，所以我们在产品设计上投入很多。你想观察它完成任务时，随时都能看到光标，而且操作过程有有趣的动画，不会枯燥。 **Ari Weinstein：** 正如 James 刚才说的，这些控制对企业可定制，对普通用户也一样。根据你选择的模式，在使用新的应用或网站之前，我们会先征求许可。这能让人不觉得智能体会在电脑上失控乱做。你需要一个建立信任的阶段，了解它是什么感觉、希望它替你做什么，然后随着时间推移会越来越放心。Codex 的光标也太可爱了。 ## [20:06] 最佳企业用例：枯燥之处正是机会 · YouTube **Fabrizio Serafini：** 我很喜欢你刚才说的。虽然只是个小细节，但看着智能体操作电脑会让人更有信心，也让体验变好。这方面的用户体验确实值得投入。换个更宏观的问题：现在模型能力已经很强，成本也低到可以规模化运行。你觉得企业应该考虑自动化什么？哪些企业工作流最有前景？比如 ERP，或者人和智能体如何协作完成任务？如果要选，你最期待看到模型在哪些地方发挥作用？ **James Sun：** 我想从我的角度讲讲。我把它分成两大类。第一类是自动化繁琐工作流，也就是比较枯燥的那类；我举些枯燥的例子。 **Fabrizio Serafini：** 枯燥之处就是机会。 **James Sun：** 正是。ERP 是很大的一类。你能想到的各种缩写系统，比如 ERP、CRM—— **Fabrizio Serafini：** 所有记录系统。 **James Sun：** 对，所有记录系统。我们看到一些采购软件的案例。比如公司每年都要向供应商订购很多实验室设备。过去通常是各团队先在一个有上千行的大表格里填写订单，运营团队再把整张表录入内部采购软件，形成一批明细，之后采购团队再拿着软件输出去联系供应商。电脑操作可以把这一整套流程自动化。采购是我们看到的一大用例。 财务也是很有意思的一类。公司内部有很多不同的分类账，例如费用账等等。每到月底都有大量对账工作，而很多财务软件没有 API，没法快速提取数据。财务团队可以让电脑操作智能体查看这些账目、进行对账、找出值得关注的事项，提醒员工或进一步调查。这也是枯燥但有用的工作流。 销售团队会用许多软件处理转录、收集数据等事情。电脑操作可以做潜在客户开发，再把信息录入 CRM 或外联软件。所有记录系统上的这些工作都很枯燥。我们还经常看到市场研究用途。 我空闲时一直在为 Bmon 做视频标注软件。我会录下自己玩游戏的过程，再让智能体观察视频。我想把软件做得真正有用，于是让电脑操作智能体登录现有软件、创建账户、试用、截图并给我反馈，再尝试把这些功能做回自己的应用。这些都是可以自动化的繁琐流程。 另外一类更有意思、更具创造性的工作，是让人们能做更有雄心的项目。我们说过，模型现在很擅长视觉设计。因此电路设计、建筑设计、硬件工程、游戏设计，都是我们很期待 Astra 能拓展的领域。企业现在较少考虑这些，因为他们首先看到的是那些枯燥的机会。但随着人们更了解模型能力，我认为之后会看到更多这类用途…… ## [24:07] 最佳企业用例：枯燥之处正是机会（续） · YouTube **James Sun：** ……我们会逐渐看到更多这类应用。很想听听你们的想法，不好意思。 **Ari Weinstein：** 消费者侧也差不多。有很多事情是在自动化苦差事，或者替你做那些你不想做的事，比如帮你填写 DMV 表格、取消订阅收件箱里的一堆邮件。 还有一类用途，是人们借助智能体做了原本没时间做、或者根本没想到要做的事。就我个人来说，我会维护记录个人财务的电子表格，也会维护膳食计划表。我还有个朋友是私人教练，会为客户制作个性化训练计划。这些事情在日常生活中都非常耗时，但现在做起来容易多了。我用 Apple Numbers——一款不太常见的电子表格软件——模型也能轻松搞定。 **Fabrizio Serafini：** 我好像从没听人说自己用 Apple Numbers。 **Ari Weinstein：** 它其实是款出乎意料地好用的电子表格软件。 我最期待的是第三类用途，而且才刚刚开始。未来，我们会有一种全新的方式来使用整台电脑、与软件交互。你们在 Astra 广告里看到过一些很酷的例子：人们直接对着电脑说话。这是非常自然的电脑使用方式。我认为随着时间推移，这项技术会改变软件本身的形态，我对此很期待。 ## [25:36] 智能体会运行旧软件，还是取而代之？ · YouTube **Fabrizio Serafini：** 顺着你说的软件形态变化这个话题，假设你是企业用户，一直在用某个三十年前那种笨重的 ERP。一种可能是部署一批智能体来操作旧软件，你自己不必再理会它；另一种可能是新一代 AI 原生公司用电脑操作智能体。你觉得未来会更多保留老系统、在上面叠一层智能体，还是电脑操作智能体会成为新软件公司的组成部分？这是我经常思考的问题。现在是个很有意思的时刻：开发新软件的成本和复杂度都大幅下降，软件似乎会变化很多；与此同时，世界上又有海量旧软件，而电脑操作特别适合与它们交互。所以我预计这两种情况都会长期并存。今天仍在运行的很多软件，都是十年、二十年、三十年甚至四十年前写的，我不认为它们会一夜之间消失。 电脑操作的存在，可能会让公司更有压力，让软件更适合智能体使用，因为所有软件默认都能被智能体操作。WebMCP 就是个很好的例子，我想以后会看到更多类似的东西。我预计两种路径都会很重要，不过随着时间推移，重心可能会变化。James，你怎么看？ **James Sun：** 我同意。打造出色产品需要很多工艺和创造力。Ari 和他的团队做出了很棒的产品，比如 Cursor。要是互联网变成一个没有面孔的地方，只有智能体彼此交谈、人们什么都不再使用，我会很难过。我不认为事情会变成那样，因为精心制作的软件有一种工艺和艺术感，用起来很舒服；设计者真正理解客户想要什么体验。 比如我妻子最近开始玩一种棋盘游戏，我忘了名字。玩法是连起五颗棋子获胜，我记得叫 Omach。她在网上和朋友玩，总是输，所以我说：“好，我给你做个战术训练器，带她练习不同的策略。”我先做了个版本，知道她喜欢怎样学习、偏好哪些学习方法，于是能把软件打磨成她用起来很舒服的样子。 这类个性化软件今天可能还只有技术人员会做。但想象几年以后，如果每个人都能在很短时间内为小众需求打造精致、贴合个人的软件，那将是个美好的世界。训练结束后，智能体可以总结她学到的东西和犯过的错误，做成文字报告；但她真正和 AI 一起下棋、努力提高时，这件事还是得由她本人来做。所以我相信用户界面不会消失。我也认为，廉价软件带来的压力会迫使软件变得更好。不过，我不认为未来会是“所有东西都有 MCP 和 API，因此电脑操作再也派不上用场”…… ## [29:38] 智能体会运行旧软件，还是取而代之？（续） · YouTube **James Sun：** ……不会只是所有软件都加上 MCP 和 API，电脑操作从此就毫无用处。 **Ari Weinstein：** 我特别喜欢这个观点。人天生就喜欢直接操控，想亲自动手、移动东西、完成操作。过去的软件往往是“一刀切”，因为它必须面向数百万、数千万、数亿乃至数十亿人。我们即将进入一个时代：任何软件都可以只为一百个人，甚至一个人设计，那种软件会更加个性化、独特。 **Fabrizio Serafini：** 我的理解是，可能有两种情况。消费者侧，人们可能是因为喜欢用某个东西、从中得到乐趣或学到东西才使用它。价值不在于实用性，而在于互动、学习本身带来的快乐。企业侧，你可能希望智能体替你完成很多繁琐工作，但仍然需要审计日志，而且可以按你的习惯来呈现。产品的核心仍然是我这个人类用户设定目标，理解它背后的逻辑，但不必追踪完整的执行链。 企业用户仍然需要弄清楚某笔付款为什么发生，能回头查看并得到过程摘要，再说“在这个时间给这个人付款”“30 天后应该应用这么多折扣”等等。他们希望智能体负责执行，但仍要保留一定程度的控制。我认为这需要某种用户界面。如果我们越来越相信 AI 会承担更多工作，这部分也必须让人用起来愉快。为什么要满足于糟糕的软件？ **Ari Weinstein：** 我也觉得很值得期待。我很乐观，认为我们会看到新型软件：它保留传统用户界面，同时在底层使用智能体。有时这些智能体自己也会用电脑操作去自动化旧软件，再为你提供更友好、更贴合用途的体验。我非常期待这一类产品。 **James Sun：** 这有点像我们内部说的“共享智能层”。智能体可以在别处操作旧软件、完成任务。如果你正在使用某个应用，应用也希望能接入这些上下文，以便提供更好的体验。如果每个网站都有自己的智能体，却不和你的智能体交流，那会是个非常碎片化的世界。怎样让不同工具协同，让你的智能体能接入并使用其他软件，是接下来几个月里非常值得关注的问题。 ## [32:38] 给构建电脑操作产品的创业者建议 · YouTube **Fabrizio Serafini：** 我很喜欢你们谈到这个，因为人和 AI 如何互动的重要性太容易被低估了，尤其对产品成功与否而言。要思考智能体怎样融入团队，因为人类已经习惯协作。假设你明天创办一家新公司，想用电脑操作解决企业工作流，你会怎么考虑？怎样知道它失败了？怎样让它和人沟通？它应该是个黑箱吗？如果现在要给创业者建议，你会提醒他们什么？ **Ari Weinstein：** 这很大程度上取决于产品的形态。你是一个小团队，希望团队里的每个人都能更高效地使用某个软件？还是在打造一个产品，让它自己去操作已有软件？后一种情况下，可能会有一台云端机器在后台进行电脑操作。我认为，这会很大程度决定人和智能体该怎样协作。 第一种情况，我们很多产品都在服务：你打开 ChatGPT，就能和它进行很好的协作。另一种情况，你可能是在用 API 构建自己的产品，自己实现电脑操作。接下来就要仔细考虑：什么时候需要人在环节中？智能体应该在出错时通知你，还是成功时也通知？能不能把事情做个总结，避免不断收到“发生了这个、发生了那个”的通知，因为人最后会把这些通知都忽略？我不知道，你怎么看，James？ **James Sun：** Ari 和我加入 OpenAI 之前都创办过初创公司，所以我仍然非常看好创业公司。关键问题是：是否还有事情值得创业者去做，尤其当 AI 实验室也在开发各种东西时？我认为有两点。第一，可做的产品实在太多了。即使我们现在已经有几千人，公司规模不小，内部仍然感觉人手紧张；每个团队相对于要解决的问题都不大。 如果你深入理解某个问题，有行业经验，熟悉法规、市场进入方式以及如何服务客户，市场上仍有大片空间。我们 API 提供的工具——Ari 刚才说的电脑操作——能帮助你加速。我认为当下的核心就是速度。 我经常想到的第二点是，在很多垂直行业里，AI 的普及仍然慢得多。前几天我和一家公司聊过，他们用电脑操作帮助餐饮集团管理库存：先拍摄后厨储藏室的照片，视觉模型根据明天的客流预测判断哪些东西会短缺，再用电脑操作打开 Shopee 或其他采购软件，订购第二天所需的食材。接着它会进入 ERP，调整员工排班；如果去年同期某个节假日客流更大，就安排更多人手…… ## [36:39] 给构建电脑操作产品的创业者建议（续） · YouTube **James Sun：** ……所以这些餐饮集团大概并不是科技公司，对各种可用工具也不太熟悉。我们住在旧金山，会经常看到一种想法：“实验室什么都能做，Codex 也很厉害，为什么大家不都装上 Codex，让它替自己做事？”但对一般美国人、普通中小企业主，甚至企业来说，事情没这么简单。首先要了解工具能做什么；其次要以合理的方式把工具连起来；第三要部署；第四还要持续维护。 所以我认为仍然有很多机会：复杂工作流需要多个彼此分散的软件时，电脑操作是把它们连接起来、完成完整流程的好办法。然后再用一种客户用起来舒服、能真正上手的形式和界面把它交付出去。这仍然是很大的机会。你们接下来怎么看？ ## [37:32] 电脑操作的下一步是什么 · YouTube **Fabrizio Serafini：** 在电脑操作智能体领域，有什么前沿进展是你们特别期待、可以分享的吗？ **Ari Weinstein：** 我刚才已经稍微提到过。我们很期待速度进一步提升，让电脑操作达到超人水平。我们也很期待不同类型的界面融合，结合多模态输入和输出，让人与电脑之间的体验更加流畅。 现在我们的电脑操作产品主要是在后台运行：给智能体一个任务，它就去处理，而我可以做别的事。这其实是产品非常大的优势。但未来我认为还会有更多人与智能体实时协作的场景。我对这个方向非常兴奋。除此之外，就是让它更好、更便宜、更普及、更容易使用。 **James Sun：** 对，能真正访问所有东西。我觉得我们要让整体体验更连贯。现在你可以安装 Chrome 扩展，它使用 Chrome 里的密码管理器和其他功能；桌面应用里还有一个应用内浏览器，Cookie 和密码又是另一套；云端电脑也有自己的东西。普通消费者会觉得很困惑：为什么我有四个彼此不沟通的浏览器？在一个浏览器里开的标签，另一个里会出现吗？ 我期待的是，电脑操作能从企业和前沿重度用户使用的产品，变成普通人也能理解的东西。这听起来有点矛盾，因为电脑操作其实是最容易理解的 AI 产品：就是 AI 在用你的电脑。但由于要管理不同状态、在不同地方使用，技术实现细节有时会暴露出来，让它变得难以理解。把体验做到消费级、更易懂、更连贯，是我下个季度非常期待的事情。 **Seema Amble：** 这也回到一个关键点：仍然是人启动智能体。界面和控制越好、越容易、越好用，人们从中得到的就越多。 **Ari Weinstein：** 没错。还有一个目前的产品挑战是，用户需要先想好怎样使用它，还得记得去用，并说服自己改变习惯。我认为 James 之前谈到的 dots 有非常强的主动性：它能主动找到你、发现情况并帮你解决问题。 我期待未来会有更多主动能力。想象一个智能体逐渐适应你，而不是你去适应它的世界。我认为这会让人更容易理解、接受和使用这项技术，同时人仍然设定并掌舵目标。 **Seema Amble：** 我们还没谈过电脑操作的发展势头和变化有多大。我和 Fabrizio 在那篇文章里聊过一点。能不能讲讲目前的发展轨迹，以及接下来会走向哪里？ **Ari Weinstein：** James 和我在 OpenAI 做电脑操作已经有一段时间了。过去六到九个月特别令人兴奋。今年早些时候，研究团队做了很棒的工作，模型突然就变得很擅长这类任务了…… ## [41:33] 电脑操作的下一步是什么（续） · YouTube **Ari Weinstein：** ……研究团队在今年早些时候取得突破后，我们又和内部多个团队一起努力，围绕电脑操作打造真正好用的产品体验。过去几个月，产品突然增长很快，人们确实看到了它的价值。不过现在还很早，仍然只有一部分用户在使用电脑操作，我认为接下来它还会大幅增长。 **James Sun：** 完全同意。我一月加入 OpenAI，参与 Atlas 产品的工作。我很喜欢 Atlas，可惜它已经结束了。我们意识到，Atlas 里的智能体体验有几个原因导致它并不是很大的卖点，使用的人不多，部分原因是大多数人把它当作普通浏览器。 过去几个月，随着模型能力增强，我们把浏览器和浏览器操作整合进了许多已有智能体功能的产品里。我们看到的增长像 YC 公司那样，周周增长，也总是惊讶于增长之快。我认为下一个重大拐点是云端。桌面电脑目前仍是重度用户的工具。我们可能一直在用桌面，但大多数消费者都用手机。怎样让每个 ChatGPT 用户、每个用手机过日常生活的人，都拥有一台强大的电脑，却不必学习怎么操作，只要它能替他们把事情做好？这会让我们有机会把这项能力带给十亿用户，我对此非常期待。 **Seema Amble：** 感觉电脑操作智能体的发展势头很强，现在的问题是怎样让更多人用上它、信任它，觉得自己真的能用。你之前提到的体验连贯性很关键。一旦这方面改善很多，消费者会更放心，也会觉得使用起来更自然。 **Ari Weinstein：** 我觉得确实如此。我认为电脑操作在消费者和企业领域都到了规模化发展的时刻。我很期待看到它会走向哪里、大家会用它构建什么。 **Fabrizio Serafini：** 太好了，我们也一样。 **Seema Amble：** 好的，非常感谢你们来参加，聊这个话题很愉快，也很高兴直接听到你们的看法。 **Ari Weinstein：** 谢谢，我们也聊得很开心。 **James Sun：** 很开心，谢谢！谢谢你们。