开场
我们现在已经把电脑操作能力推进到一个阶段:速度超过普通人。我认为,我们正接近超越人类水平。
你觉得哪些任务已经可以交给智能体?哪些还需要人来检查和纠正?
现在的电脑操作智能体,尤其是 Astra,已经能做一个人会做的任何事。我们会思考,更快、更强的模型能带来哪些新的消费者体验。企业这边,安全自然就更受关注:怎样控制人在环节中的参与程度,怎样确保可审计性?这和我们以往构建的东西都不一样。过去开发者得做些工作才能接入,比如搭建连接器或 MCP 服务器;电脑操作则能适用于一切。现在模型能力已经够强,运行成本也逐渐低到可以规模化。企业应该考虑自动化哪些事情?
我把它分成两大类。第一类是……
GPT-6 Astra 为消费者与企业带来什么
欢迎收听 a16z 播客,我是 Seema Amble,今天和同事 Fabrizio Serafini 一起主持。八月,我们写过电脑操作智能体如何开始在公司里承担真正的工作。今天请来 OpenAI 的 Ari Weinstein 和 James Sun,请他们从自己的角度聊聊电脑操作智能体的发展,以及未来。Ari、James,感谢你们来参加。
很高兴来,感谢邀请。
Ari,先请你介绍一下 Astra 哪些方面推动了电脑操作智能体的发展,真正解锁了什么?
Astra 是个很出色的模型,很多方面都很强。在 Astra 之前,我们的电脑操作模型已经很不错了,比如 Soul 本身就很擅长电脑操作。按我个人的体验,Astra 在一些边缘能力上有帮助。首先,它平均速度稍快,因为完成同一任务所需的思考 token 更少。它也更擅长某些创意工作。比如发布视频里有个演示,你跟它说话,它就在 Microsoft Paint 里画东西;它做这类事情强得多,我想这种能力也可能迁移到其他创意任务。
我觉得最后一点是,它在边缘情况下更可靠。我会觉得自己更信任它。这种差异不容易察觉,却很重要:可靠率 99% 和 97% 之间有很大区别。我感觉它的可靠性确实又提高了一点,而且效果相当具体。
再补充一点,Astra 也是我们对齐程度最高的模型。这也关系到信任。看它的系统卡就会发现,它抵御提示注入的能力强得多,也更不容易执行任何非预期操作。企业把它用于工作,尤其是敏感事项——比如采购、和供应商或客户沟通——会觉得安全得多,这非常令人振奋。
创意方面也有些有趣的事。我们内部让 Astra 和 5.6 玩电子游戏,它每次都赢。网上也有人发了很酷的帖子,说 Astra 能在大约 30 小时内打通《辐射》。它玩游戏也非常厉害。我不知道这最终会转化成什么,不过确实很令人兴奋。
我想进一步问问消费者和企业使用计算智能体的差别。围绕这类智能体的配套机制和影响很不一样。你们怎么看这两个方向,哪边更令人兴奋?
OpenAI 的目标是打造对所有人都有用的产品。有意思的是,Ari 更偏消费者产品,而我花更多时间在企业侧。消费者产品一直是我们推动能力前沿的地方。正如 Ari 提到的,Astra 比之前的模型快得多,因此我们会思考,更快、更强的模型能带来哪些新消费者体验。
在企业这边,安全自然更值得关注。我认为,跟大公司交流时,电脑操作的企业用途其实相当明显:企业里有大量没有 MCP 工具的旧软件,已经用了 15 到 20 年,有时普通人甚至很难上手。界面很多都像是上个十年留下的,你甚至不知道一些关键功能该怎么操作。我们看到有公司制作 skills,教模型更好地使用这些软件。所以可以这么理解,企业是……
GPT-6 Astra 为消费者与企业带来什么(续)
企业在这方面可能已经走在前面一阵子,而现在各家公司正在追上来,试着弄清楚如何应对。消费者这边,我们则在探索软件目前还做不到的下一类用途。Ari,你可以多讲一点。
消费者用途对我来说特别有意思:怎样让智能体帮你处理日常生活里那些烦人、耗时的事情,替你省出很多时间,让你能专注于真正想做的事?我很喜欢看到 dot 的发展:每个 dot 都有自己的电脑,你可以让它在云端替你办事。它有完整的网页浏览器,可以替你买东西、预约理发,或者做你想做的其他事情。这个方向已经很有趣,未来还有很多值得期待的可能。
OpenAI 团队如何使用 dots
说到 dots,这正是我想问的。我想 James 你可能会用 dot 来梳理产品反馈。能不能多分享一点?我很好奇你们怎样使用 dots,电脑操作又能让它们做什么?
我觉得 dots 有几个很酷的地方。第一,它很主动。我在个人生活和工作中都多次感到惊讶:dot 会主动指出一些本来会被我遗漏的事。前几天就是这样。公司内部的邮件系统里,外部邀请不会自动显示在日历上,所以我经常错过外部会议。现在 dot 会帮我发现:“收件箱里有个邀请,但日历里没有。要我在 Gmail 里接受它,让它显示出来吗?”这救了我。事情虽小,却很重要。
我也让它主动寻找一些任务。它很擅长处理目标不总是那么具体的情况。比如我们内部用 Slack,消息一直很多。我以前用自动化和 Codex 做过一个 Slack 定时任务,每小时或每半小时去抓取消息,但后来我把很多通知都忽略了,因为有时有用,有时没用。用 dots,我可以给它一个高层次的目标,比如:“我汇报链上的任何人说了什么,都提醒我。”或者:“有人给某些产品提了关键反馈时,你自己判断一下,再告诉我。”
由于它有一台云端电脑,我还搭出了很酷的工作流。有人提交反馈时,通常会附 Sentry 日志。我可以让它使用云端电脑,也操作我本地的浏览器;dots 能同时控制本地电脑和云端电脑。它会登录 Sentry,取出日志、分析内容,再给我反馈。这样一来,从判断哪些反馈重要,到查看反馈、去 Sentry 下载日志、把日志交给 Codex 并询问分析意见,整个流程都省下来了,现在可以自动完成。
所以,至少就这些主动执行、运行时间较长、每次形态不完全相同的任务而言,dots 很好用……
接近超人水平:速度、成本与控制
我们刚才谈到可靠性、速度、token 用量和效率。随着你们持续改进并推出产品,如何平衡这些因素?
我们很看好电脑操作,在 OpenAI 投入也很多。我认为目前我们已经做到了最快、最便宜、也最可靠的电脑操作产品,而且还有很大的提升空间。我们花了很多时间研究速度。速度这个问题很有意思:电脑操作的优势之一是能在后台执行任务,所以有些时候花多久并不重要,你可以继续做别的事。但有时你想盯着它,确认它操作正确;或者它必须先完成某件事,后续事情才能开始。
速度很重要,因为你不想产生“我自己做还更容易”的感觉。现在电脑操作已经比普通人操作电脑快了。我认为我们正接近超人水平,也就是比电脑高手——可能就是我们这桌上的某个人——还快。到那时会是一次巨大转变,改变大家和电脑互动的方式:凡是你能手动做的事,智能体都能更快完成。除非你有特别理由想亲自做,否则默认情况下,你大概会希望智能体代劳。这会让我们打造各种很酷的用户体验。
我们也有策略提供不同质量、不同价格的多种模型,不同任务可以选不同模型。同时,便宜模型的电脑操作能力也在不断提高。所以随着时间推移,人们会更有差异地为不同任务选择不同模型。
我再补充一点:怎样让客户控制安全性、可靠性、自主程度和速度?模型较慢时,你可以看着它操作,但能做的任务就受限了,因为你不能一直坐在这里盯着它;那样它比你自己做还低效。但当模型快到你不可能再观察、审计它的每一步时,怎样让企业控制人在环节中的参与程度和审计能力,就尤其重要。
几个月前,作为 Astra 的一部分,我们推出了一组企业控制功能,让企业选择需要多少人工参与。比如,他们是否要让智能体自动批准所有操作?我们有个很棒的系统叫 Guardian,也有应用里的自动批准功能:由一个很强的模型逐一检查电脑操作智能体采取的每个动作,判断是否安全、是否符合意图。消费者可能希望它什么都做、不必征求批准;企业则可以决定哪些类型的操作可以执行。随着电脑操作智能体也变得超人级、开始承担各种工作,控制会越来越重要。
开放网络上的智能体与广告问题
完全同意。随着你们推出更多企业用途,雇主既期待效率,也会担心这会释放出什么。再从另一面看,应用软件公司面对电脑操作智能体访问他们的旧工作流软件时,有什么反应?你们关注的是消费者或企业用户使用的智能体本身吗?
我觉得这个问题在开放网络上尤其有意思。对于公司批准并使用的软件,情况其实比较直接:当然希望员工能自动化工作,不必亲自做那些繁琐的事。但到了互联网,就有好几类情况。
有些公司的商业模式和智能体使用其产品并不相容。比如完全靠广告营收的广告商和出版商:如果智能体替用户浏览网站,广告收入从哪里来?在很多地方,智能体产生的广告曝光并不算作真正的收入。这是我们一直在研究、也和合作团队一起处理的问题。
另一类公司则很愿意让电脑操作智能体使用他们的网站。许多公司正在采用让人和智能体都能使用网站的标准。比如我们很看好 WebMCP,也已经在应用内浏览器里支持了它。可以想象,智能体提升了网站使用体验,却没有完全取代它。依我看,浏览互联网仍然很有趣。我还是喜欢逛商店、看看酒店、航班和各个地方。
可以设想一种体验:智能体做完所有繁琐工作,但仍然给用户留出浏览空间。到了最后,用户说:“好,现在我要完成交易,填写信用卡等信息。”然后再把流程交回智能体。WebMCP 是一种有意思的方式:人和智能体一起通过网站本身这个界面交互,而不是只通过 API。这些就是我的一些想法。
哪些任务可以交给智能体
换个话题,我们想进一步聊聊把一项工作从头到尾完成意味着什么。你们觉得怎样算是合适、范围明确、可重复的任务?哪些任务已经可以交给智能体,哪些还需要用户检查和纠正?
总体来说,我发现现在的模型已经很有能力,几乎能做任何你在电脑上能做的事。我会逼自己养成一个习惯:每次遇到任务,首先想能不能直接交给智能体。当然,有些事情比较敏感。比如给别人发消息,我希望感觉那真的是我发出的。但整体来说,Astra 这样的电脑操作智能体已经能做一个人会做的任何事。
以前我会担心需求不够具体、描述不够明确,但现在模型越来越擅长处理模糊指令。比如 Astra 推出了灵活输入功能:它可以向你追问细节;如果你没及时回复,它会继续执行,并自行补足所需的上下文。对于可重复的工作流,最好还是预先定义要求,有点像写产品规格说明。但一般来说,除非有非常敏感的事需要你亲自参与,我现在做什么都会先想到电脑操作模型。我也想知道你是不是这样。
是的。我也在努力养成随手使用它的习惯,因为它太好用了,但有时人很容易陷在旧的做事方式里。电脑操作这项技术很酷的一点,是它的通用性。它能配合任何应用使用,不像我们构建的其他东西,必须由开发者做些工作来接入、搭建连接器或 MCP 服务器。电脑操作的方式和人一样,直接使用应用。如果你还没怎么接触这项技术,值得理解这一点:它让智能体像人一样使用电脑,具备你拥有的所有能力。这很强大。
补充 James 刚才说的,我现在已经不太把任务分成“电脑操作任务”和“非电脑任务”了。它们常常是连在一起的。对我们来说,电脑操作并不是一个单独拿出来使用的工具,而是模型完成各种事情时可以调用的通用 API。任务越有雄心、越复杂,智能体在过程中某个阶段用到电脑操作的可能性就越高。
我唯一可能不使用电脑操作的情况,是任务非常简单,我自己点两下就更方便。但电脑操作越来越快之后,也许我都不用亲自做,只要用语音说一声,它就能和我一起操作电脑。这些想法挺有意思。你觉得呢?
如何让企业信任电脑操作
对企业用户来说,有什么建议能帮助他们放心使用?你们当然已经非常认同电脑操作的价值,但企业用户有时会犹豫:人类虽然要一步步点,做得可能还更差,可毕竟有责任归属,而且那个人受过培训。这些都是常见的反对意见。你们怎样说服他们?
过去一段时间我们和企业进行了很多交流。关键是我们把它分成两层。第一层是怎样创建确定性的控制机制。我认为,让企业感到安全的一大原因,就是管理员可以明确规定:某些任务或数据源过于敏感,不能使用。虽然我们的模型对齐程度前所未有,我认为在防范提示注入等方面也比大多数人做得好,但如果企业管理员能明确划定边界,仍然会更有安全感。
我们推出了两项企业功能。第一,可以确定性地为智能体创建沙箱:规定它可以使用哪些应用、不能用哪些应用,可以访问哪些网站、不能访问哪些网站。第二,是人在环节中的参与:哪些操作需要人工介入?比如每当有下载或上传,都必须由人批准;每当访问新网站,也必须由人批准。这些都是企业可以调节的选项。
另一层是向企业管理员展示我们内部运行的各种评测,说明模型的对齐程度,包括内部评测和第三方评测。我们也在各个环节做一些基础工作,帮助人们对这类产品建立信任。我们知道它很新,对人来说有时像魔法,甚至有点陌生,所以我们在产品设计上投入很多。你想观察它完成任务时,随时都能看到光标,而且操作过程有有趣的动画,不会枯燥。
正如 James 刚才说的,这些控制对企业可定制,对普通用户也一样。根据你选择的模式,在使用新的应用或网站之前,我们会先征求许可。这能让人不觉得智能体会在电脑上失控乱做。你需要一个建立信任的阶段,了解它是什么感觉、希望它替你做什么,然后随着时间推移会越来越放心。Codex 的光标也太可爱了。
最佳企业用例:枯燥之处正是机会
我很喜欢你刚才说的。虽然只是个小细节,但看着智能体操作电脑会让人更有信心,也让体验变好。这方面的用户体验确实值得投入。换个更宏观的问题:现在模型能力已经很强,成本也低到可以规模化运行。你觉得企业应该考虑自动化什么?哪些企业工作流最有前景?比如 ERP,或者人和智能体如何协作完成任务?如果要选,你最期待看到模型在哪些地方发挥作用?
我想从我的角度讲讲。我把它分成两大类。第一类是自动化繁琐工作流,也就是比较枯燥的那类;我举些枯燥的例子。
枯燥之处就是机会。
正是。ERP 是很大的一类。你能想到的各种缩写系统,比如 ERP、CRM——
所有记录系统。
对,所有记录系统。我们看到一些采购软件的案例。比如公司每年都要向供应商订购很多实验室设备。过去通常是各团队先在一个有上千行的大表格里填写订单,运营团队再把整张表录入内部采购软件,形成一批明细,之后采购团队再拿着软件输出去联系供应商。电脑操作可以把这一整套流程自动化。采购是我们看到的一大用例。
财务也是很有意思的一类。公司内部有很多不同的分类账,例如费用账等等。每到月底都有大量对账工作,而很多财务软件没有 API,没法快速提取数据。财务团队可以让电脑操作智能体查看这些账目、进行对账、找出值得关注的事项,提醒员工或进一步调查。这也是枯燥但有用的工作流。
销售团队会用许多软件处理转录、收集数据等事情。电脑操作可以做潜在客户开发,再把信息录入 CRM 或外联软件。所有记录系统上的这些工作都很枯燥。我们还经常看到市场研究用途。
我空闲时一直在为 Bmon 做视频标注软件。我会录下自己玩游戏的过程,再让智能体观察视频。我想把软件做得真正有用,于是让电脑操作智能体登录现有软件、创建账户、试用、截图并给我反馈,再尝试把这些功能做回自己的应用。这些都是可以自动化的繁琐流程。
另外一类更有意思、更具创造性的工作,是让人们能做更有雄心的项目。我们说过,模型现在很擅长视觉设计。因此电路设计、建筑设计、硬件工程、游戏设计,都是我们很期待 Astra 能拓展的领域。企业现在较少考虑这些,因为他们首先看到的是那些枯燥的机会。但随着人们更了解模型能力,我认为之后会看到更多这类用途……
最佳企业用例:枯燥之处正是机会(续)
……我们会逐渐看到更多这类应用。很想听听你们的想法,不好意思。
消费者侧也差不多。有很多事情是在自动化苦差事,或者替你做那些你不想做的事,比如帮你填写 DMV 表格、取消订阅收件箱里的一堆邮件。
还有一类用途,是人们借助智能体做了原本没时间做、或者根本没想到要做的事。就我个人来说,我会维护记录个人财务的电子表格,也会维护膳食计划表。我还有个朋友是私人教练,会为客户制作个性化训练计划。这些事情在日常生活中都非常耗时,但现在做起来容易多了。我用 Apple Numbers——一款不太常见的电子表格软件——模型也能轻松搞定。
我好像从没听人说自己用 Apple Numbers。
它其实是款出乎意料地好用的电子表格软件。
我最期待的是第三类用途,而且才刚刚开始。未来,我们会有一种全新的方式来使用整台电脑、与软件交互。你们在 Astra 广告里看到过一些很酷的例子:人们直接对着电脑说话。这是非常自然的电脑使用方式。我认为随着时间推移,这项技术会改变软件本身的形态,我对此很期待。
智能体会运行旧软件,还是取而代之?
顺着你说的软件形态变化这个话题,假设你是企业用户,一直在用某个三十年前那种笨重的 ERP。一种可能是部署一批智能体来操作旧软件,你自己不必再理会它;另一种可能是新一代 AI 原生公司用电脑操作智能体。你觉得未来会更多保留老系统、在上面叠一层智能体,还是电脑操作智能体会成为新软件公司的组成部分?这是我经常思考的问题。现在是个很有意思的时刻:开发新软件的成本和复杂度都大幅下降,软件似乎会变化很多;与此同时,世界上又有海量旧软件,而电脑操作特别适合与它们交互。所以我预计这两种情况都会长期并存。今天仍在运行的很多软件,都是十年、二十年、三十年甚至四十年前写的,我不认为它们会一夜之间消失。
电脑操作的存在,可能会让公司更有压力,让软件更适合智能体使用,因为所有软件默认都能被智能体操作。WebMCP 就是个很好的例子,我想以后会看到更多类似的东西。我预计两种路径都会很重要,不过随着时间推移,重心可能会变化。James,你怎么看?
我同意。打造出色产品需要很多工艺和创造力。Ari 和他的团队做出了很棒的产品,比如 Cursor。要是互联网变成一个没有面孔的地方,只有智能体彼此交谈、人们什么都不再使用,我会很难过。我不认为事情会变成那样,因为精心制作的软件有一种工艺和艺术感,用起来很舒服;设计者真正理解客户想要什么体验。
比如我妻子最近开始玩一种棋盘游戏,我忘了名字。玩法是连起五颗棋子获胜,我记得叫 Omach。她在网上和朋友玩,总是输,所以我说:“好,我给你做个战术训练器,带她练习不同的策略。”我先做了个版本,知道她喜欢怎样学习、偏好哪些学习方法,于是能把软件打磨成她用起来很舒服的样子。
这类个性化软件今天可能还只有技术人员会做。但想象几年以后,如果每个人都能在很短时间内为小众需求打造精致、贴合个人的软件,那将是个美好的世界。训练结束后,智能体可以总结她学到的东西和犯过的错误,做成文字报告;但她真正和 AI 一起下棋、努力提高时,这件事还是得由她本人来做。所以我相信用户界面不会消失。我也认为,廉价软件带来的压力会迫使软件变得更好。不过,我不认为未来会是“所有东西都有 MCP 和 API,因此电脑操作再也派不上用场”……
智能体会运行旧软件,还是取而代之?(续)
……不会只是所有软件都加上 MCP 和 API,电脑操作从此就毫无用处。
我特别喜欢这个观点。人天生就喜欢直接操控,想亲自动手、移动东西、完成操作。过去的软件往往是“一刀切”,因为它必须面向数百万、数千万、数亿乃至数十亿人。我们即将进入一个时代:任何软件都可以只为一百个人,甚至一个人设计,那种软件会更加个性化、独特。
我的理解是,可能有两种情况。消费者侧,人们可能是因为喜欢用某个东西、从中得到乐趣或学到东西才使用它。价值不在于实用性,而在于互动、学习本身带来的快乐。企业侧,你可能希望智能体替你完成很多繁琐工作,但仍然需要审计日志,而且可以按你的习惯来呈现。产品的核心仍然是我这个人类用户设定目标,理解它背后的逻辑,但不必追踪完整的执行链。
企业用户仍然需要弄清楚某笔付款为什么发生,能回头查看并得到过程摘要,再说“在这个时间给这个人付款”“30 天后应该应用这么多折扣”等等。他们希望智能体负责执行,但仍要保留一定程度的控制。我认为这需要某种用户界面。如果我们越来越相信 AI 会承担更多工作,这部分也必须让人用起来愉快。为什么要满足于糟糕的软件?
我也觉得很值得期待。我很乐观,认为我们会看到新型软件:它保留传统用户界面,同时在底层使用智能体。有时这些智能体自己也会用电脑操作去自动化旧软件,再为你提供更友好、更贴合用途的体验。我非常期待这一类产品。
这有点像我们内部说的“共享智能层”。智能体可以在别处操作旧软件、完成任务。如果你正在使用某个应用,应用也希望能接入这些上下文,以便提供更好的体验。如果每个网站都有自己的智能体,却不和你的智能体交流,那会是个非常碎片化的世界。怎样让不同工具协同,让你的智能体能接入并使用其他软件,是接下来几个月里非常值得关注的问题。
给构建电脑操作产品的创业者建议
我很喜欢你们谈到这个,因为人和 AI 如何互动的重要性太容易被低估了,尤其对产品成功与否而言。要思考智能体怎样融入团队,因为人类已经习惯协作。假设你明天创办一家新公司,想用电脑操作解决企业工作流,你会怎么考虑?怎样知道它失败了?怎样让它和人沟通?它应该是个黑箱吗?如果现在要给创业者建议,你会提醒他们什么?
这很大程度上取决于产品的形态。你是一个小团队,希望团队里的每个人都能更高效地使用某个软件?还是在打造一个产品,让它自己去操作已有软件?后一种情况下,可能会有一台云端机器在后台进行电脑操作。我认为,这会很大程度决定人和智能体该怎样协作。
第一种情况,我们很多产品都在服务:你打开 ChatGPT,就能和它进行很好的协作。另一种情况,你可能是在用 API 构建自己的产品,自己实现电脑操作。接下来就要仔细考虑:什么时候需要人在环节中?智能体应该在出错时通知你,还是成功时也通知?能不能把事情做个总结,避免不断收到“发生了这个、发生了那个”的通知,因为人最后会把这些通知都忽略?我不知道,你怎么看,James?
Ari 和我加入 OpenAI 之前都创办过初创公司,所以我仍然非常看好创业公司。关键问题是:是否还有事情值得创业者去做,尤其当 AI 实验室也在开发各种东西时?我认为有两点。第一,可做的产品实在太多了。即使我们现在已经有几千人,公司规模不小,内部仍然感觉人手紧张;每个团队相对于要解决的问题都不大。
如果你深入理解某个问题,有行业经验,熟悉法规、市场进入方式以及如何服务客户,市场上仍有大片空间。我们 API 提供的工具——Ari 刚才说的电脑操作——能帮助你加速。我认为当下的核心就是速度。
我经常想到的第二点是,在很多垂直行业里,AI 的普及仍然慢得多。前几天我和一家公司聊过,他们用电脑操作帮助餐饮集团管理库存:先拍摄后厨储藏室的照片,视觉模型根据明天的客流预测判断哪些东西会短缺,再用电脑操作打开 Shopee 或其他采购软件,订购第二天所需的食材。接着它会进入 ERP,调整员工排班;如果去年同期某个节假日客流更大,就安排更多人手……
给构建电脑操作产品的创业者建议(续)
……所以这些餐饮集团大概并不是科技公司,对各种可用工具也不太熟悉。我们住在旧金山,会经常看到一种想法:“实验室什么都能做,Codex 也很厉害,为什么大家不都装上 Codex,让它替自己做事?”但对一般美国人、普通中小企业主,甚至企业来说,事情没这么简单。首先要了解工具能做什么;其次要以合理的方式把工具连起来;第三要部署;第四还要持续维护。
所以我认为仍然有很多机会:复杂工作流需要多个彼此分散的软件时,电脑操作是把它们连接起来、完成完整流程的好办法。然后再用一种客户用起来舒服、能真正上手的形式和界面把它交付出去。这仍然是很大的机会。你们接下来怎么看?
电脑操作的下一步是什么
在电脑操作智能体领域,有什么前沿进展是你们特别期待、可以分享的吗?
我刚才已经稍微提到过。我们很期待速度进一步提升,让电脑操作达到超人水平。我们也很期待不同类型的界面融合,结合多模态输入和输出,让人与电脑之间的体验更加流畅。
现在我们的电脑操作产品主要是在后台运行:给智能体一个任务,它就去处理,而我可以做别的事。这其实是产品非常大的优势。但未来我认为还会有更多人与智能体实时协作的场景。我对这个方向非常兴奋。除此之外,就是让它更好、更便宜、更普及、更容易使用。
对,能真正访问所有东西。我觉得我们要让整体体验更连贯。现在你可以安装 Chrome 扩展,它使用 Chrome 里的密码管理器和其他功能;桌面应用里还有一个应用内浏览器,Cookie 和密码又是另一套;云端电脑也有自己的东西。普通消费者会觉得很困惑:为什么我有四个彼此不沟通的浏览器?在一个浏览器里开的标签,另一个里会出现吗?
我期待的是,电脑操作能从企业和前沿重度用户使用的产品,变成普通人也能理解的东西。这听起来有点矛盾,因为电脑操作其实是最容易理解的 AI 产品:就是 AI 在用你的电脑。但由于要管理不同状态、在不同地方使用,技术实现细节有时会暴露出来,让它变得难以理解。把体验做到消费级、更易懂、更连贯,是我下个季度非常期待的事情。
这也回到一个关键点:仍然是人启动智能体。界面和控制越好、越容易、越好用,人们从中得到的就越多。
没错。还有一个目前的产品挑战是,用户需要先想好怎样使用它,还得记得去用,并说服自己改变习惯。我认为 James 之前谈到的 dots 有非常强的主动性:它能主动找到你、发现情况并帮你解决问题。
我期待未来会有更多主动能力。想象一个智能体逐渐适应你,而不是你去适应它的世界。我认为这会让人更容易理解、接受和使用这项技术,同时人仍然设定并掌舵目标。
我们还没谈过电脑操作的发展势头和变化有多大。我和 Fabrizio 在那篇文章里聊过一点。能不能讲讲目前的发展轨迹,以及接下来会走向哪里?
James 和我在 OpenAI 做电脑操作已经有一段时间了。过去六到九个月特别令人兴奋。今年早些时候,研究团队做了很棒的工作,模型突然就变得很擅长这类任务了……
电脑操作的下一步是什么(续)
……研究团队在今年早些时候取得突破后,我们又和内部多个团队一起努力,围绕电脑操作打造真正好用的产品体验。过去几个月,产品突然增长很快,人们确实看到了它的价值。不过现在还很早,仍然只有一部分用户在使用电脑操作,我认为接下来它还会大幅增长。
完全同意。我一月加入 OpenAI,参与 Atlas 产品的工作。我很喜欢 Atlas,可惜它已经结束了。我们意识到,Atlas 里的智能体体验有几个原因导致它并不是很大的卖点,使用的人不多,部分原因是大多数人把它当作普通浏览器。
过去几个月,随着模型能力增强,我们把浏览器和浏览器操作整合进了许多已有智能体功能的产品里。我们看到的增长像 YC 公司那样,周周增长,也总是惊讶于增长之快。我认为下一个重大拐点是云端。桌面电脑目前仍是重度用户的工具。我们可能一直在用桌面,但大多数消费者都用手机。怎样让每个 ChatGPT 用户、每个用手机过日常生活的人,都拥有一台强大的电脑,却不必学习怎么操作,只要它能替他们把事情做好?这会让我们有机会把这项能力带给十亿用户,我对此非常期待。
感觉电脑操作智能体的发展势头很强,现在的问题是怎样让更多人用上它、信任它,觉得自己真的能用。你之前提到的体验连贯性很关键。一旦这方面改善很多,消费者会更放心,也会觉得使用起来更自然。
我觉得确实如此。我认为电脑操作在消费者和企业领域都到了规模化发展的时刻。我很期待看到它会走向哪里、大家会用它构建什么。
太好了,我们也一样。
好的,非常感谢你们来参加,聊这个话题很愉快,也很高兴直接听到你们的看法。
谢谢,我们也聊得很开心。
很开心,谢谢!谢谢你们。