Token 开启的新边界
一种新型工厂,生成 token——AI 的基本构成单元。Token 打开了新的疆界:把数据变成知识,再把知识化为行动。
它们解读自然的密码,揭示隐藏的疗法;映照我们的城市,不知疲倦地穿行于世界,让我们持续运转。Token 从我们的行动方式中学习,提供我们所需的照护,守护我们所爱的人。它们看见我们看不到的东西,让最稳健的双手不必独自工作。Token 点燃每一个想法,分享每一份成功,让重要之事触手可及。
Token 正帮助我们开辟新天地,让我们得以触及天空、走向更远的地方。携手迈出下一大步,跃入一个光明的新未来——一个为全人类打造的未来。而这一切,就从这里开始。
有请 NVIDIA 创始人兼首席执行官黄仁勋登台。
柏林,你们好!柏林,你们好!欢迎来到 GTC。很高兴来到这里。开始之前,让我们为开场秀的主持人鼓掌。他们既聪明又可爱,介绍了 AI 基础设施、主权 AI、AI 安全和物理 AI。今天上午他们涵盖了非常广泛的内容,而我们还要再向前迈进一步。这真的很有意思……
NVIDIA 与欧洲产业的长期合作
欧莱雅、Revolut、Spotify、默克、沃达丰、Zara、保时捷、雀巢和汇丰有什么共同点?它们都是欧洲公司,也都在与 NVIDIA 合作推进 AI。这里的每个人都已投身 AI 生态,朝 AI 经济迈进。
我们在欧洲耕耘了 33 年。你们或许不知道,NVIDIA 的第一款芯片 NV1、NV2,以及后来成为 Riva 128 的 NV3,都是在欧洲研发制造的。Riva 128 真正拯救并启动了我们的公司。最初的合作伙伴是 SGS Thomson:我们在法国克罗勒制造芯片,在马耳他封装,然后运往世界各地。
GeForce 初期最大客户之一是一家叫 MediaMarkt 的公司,你们知道它吗?MediaMarkt 当时提出了一个很棒的想法:打造个人电脑;它后来成为我们的最大客户。2000 年,一家德国公司 Elsa 把 NVIDIA 带进了工作站行业。如今,欧洲各地设计汽车的工作站里几乎都有 NVIDIA:从造型、设计、工程、仿真,一直到车内系统。2005 年,欧洲公司奥迪把我们带进汽车;2020 年,我们又与梅赛德斯开始合作开发自动驾驶汽车。
回顾 NVIDIA 的整个 33 年历程,我在德国花了很多时间。所以我很高兴再次来到这里。谢谢大家。
我很高兴今年能在这里举办 GTC。去年,我们开启了一段新旅程,要在欧洲建立一个新产业——AI 经济的开端。仅过去一年,我们在欧洲投资了近 100 亿美元,涵盖初创企业以及大大小小的合作伙伴关系。上周我从法国、英国一路到瑞典,再来到柏林,我们宣布投资 14 家初创公司。自最初至今,我们在欧洲的合作伙伴已超过 12,000 家,大家现在都朝着一个目标前进。
经过几十年的计算机产业发展,我们正站在一场新工业革命的起点。这张图是电脑生成的,是我给提示词后生成的。我只用了一个简单的提示,描述 AI 如何推动新工业革命;还指定了几家希望展示的合作公司。AI 对建立新产业的理解很特别:生成 token,也就是生产智能;智能再融入每一个行业,推动新的工业革命。当一种新技术改变我们制造事物的方式,以及我们能够制造什么时,新的工业革命就会发生。
AI 是什么:生产智能的五层产业
新工业革命会改变我们如何制造东西,也改变我们能制造什么。我认为,人工智能会以各种方式影响我们制造的一切,事实上还会让我们造出全新的东西。每个人都会使用它,每家公司都会由它驱动,因为它是数字智能,是一切的基础。每个人会使用它,每家公司会由它驱动,每个行业都会转型,也会有新行业诞生。就像电力一样,这是一场新的工业革命,而我们才刚刚起步。
问题是:AI 到底是什么?这很重要。如果你想参与创造这个未来,理解 AI 至关重要。我们很早就观察到,AI 实际上是一种制造业。AI 不只是软件技术——它当然属于软件技术,但不止于此。AI 运行在计算机上,可计算机的运作方式正在发生根本变化。计算机不再只是由我们使用的工具,而成为机器和基础设施的一部分,成为生产智能、并将智能融入每个行业和应用的工厂。
一个简单的理解框架,是把 AI 看作五层蛋糕:能源为先进计算机供能,计算机组成 AI 工厂;AI 工厂根据模型生成 token,也就是数字智能;这些智能再进入各种应用。要成为 AI 经济的一员,不能只消费 AI,还要生产 AI。欧洲完全可以做到这一切,而且已经开始了。欧洲正在建设自己的 AI 经济,图中展示的就是五层结构。
我们有很多很棒的合作伙伴。看这五层,就会发现这确实是一个新产业,因为每一层都在增长、创造就业,增长速度惊人。欧洲的施耐德电气、西门子、西门子能源都在全球表现出色。我们位于计算层,并把技术集成到遍布欧洲、蓬勃发展的 AI 工厂中。初创公司 Nebius 做得很好;一家名为 Firebird 的新公司正在中亚地区建立云;非洲也有 Cassava。
我预测,未来每一家电信运营商都会转型。它们拥有约 10 万个站点,包括约 100 吉瓦的分布式电信基站和数据中心,未来将演进为分布式 AI 网络。AI 基础设施层正在建设;其上是 AI 模型。必须认识到,模型出现之前,基础设施就得先存在。就像有互联网之前要先有网络;要真正享用电力,也得先让住宅和发电厂通电。模型是下一层。
还有一点值得观察:模型层并不只有语言模型。它还包括语言、生物学……
NVIDIA 的 AI 工厂全栈
模型还涵盖化学、物理、机器人动作、动画,也包含各种规模的模型。不同行业会由不同模态的 AI 模型驱动,再进入 AI 原生企业和初创公司;欧洲有很多这样的公司。欧洲的 AI 经济已经起步,而且正在加速,令人振奋。
多数人认为我们贡献的基础是 GPU,这没错。NVIDIA 1993 年从图形芯片起步,后来发展出可编程着色 GPU,再加入 CUDA 加速,重塑了计算,并推动人工智能诞生。但今天的 NVIDIA 实际上是完整、端到端的 AI 工厂平台。
公司的技术范围这些年大幅拓展,从 GPU 计算(最新一代是 Vera Rubin),到把 GPU 连接成一颗巨型 GPU 的 NVLink 交换机;还有我们最近推出的 Vera BlueField 4 计算产品,稍后我会介绍;Spectrum-X 以太网方案让 NVIDIA 成为如今全球最大的网络公司;Grok 3 是用于文本 token 生成的解码加速器;还有 Vera BlueField 4 存储加速,以及 Vera RTX 计算,稍后也会谈到。这些技术合在一起,构成打造 AI 工厂所需的完整技术广度。
但没有软件激活这些组件,一切都无法运作。首先是运行 AI 工厂的系统软件。这些系统规模巨大:一座 1 吉瓦的数据中心,也就是 1 吉瓦的 AI 工厂,造价约 500 亿美元。土地、电力、建筑外壳、所有计算设备、网络、存储、供电和冷却系统都要连接起来,占地数英亩。光是启动和运营它,本身就是一项了不起的成就。要让这座工厂运转、投入使用并生产 token,需要极其庞大的软件。NVIDIA 提供完整的软件全栈。
其上是我们称为 CUDA-X 的库,也就是公司的算法。NVIDIA 的本质是一家算法公司,设计芯片来加速这些算法。其中之一是 cuDNN。许多研究者认为,正是这个库开启了现代 AI 的大爆发。cuDNN 之于 AI,就像 SQL 之于全球数据库产业:它是领域专用语言和库。正如 OpenGL 和 DirectX 让实时计算机图形成为可能,cuDNN 也推动了 AI 计算产业。
另外还有 350 个库,它们是公司的核心资产,范围从计算光刻到信号处理、图像处理、数据处理、粒子、流体和稀疏求解器,覆盖面极广。现场许多人都把这些库集成进了自己的公司。这就是我们开拓新市场的方式,也是 NVIDIA 如何接入各种算法、让你们以惊人速度执行计算的方式。
六代架构与百万倍 AI 性能提升
最右侧是模型。这是新软件,也是新应用的新引擎;它位于 CUDA-X 库之上,并与它们协同。NVIDIA 在多个领域一直研发这些模型,它们会开启新的机会,稍后我会详细谈。
NVIDIA 每一代产品的发展,从 Pascal 开始。AI 时代随着 Pascal 和新型 DGX-1 系统开启。DGX-1 为世界带来首台 AI 超级计算机,我在十年前介绍了它,并把第一台交付给 OpenAI,开启了他们的计算之旅。之后是 Pascal、Volta、Ampere,再到 Hopper;Blackwell 是当前一代,而 Vera Rubin 现在已全面投产。请注意,我们已经历六代架构,每一代都在推进技术。
过去十年,我们把 AI 性能提升了 100 万倍。回头想想,摩尔定律十年大约能带来 100 倍提升:前五年提升十倍,后五年再提升十倍。同期,NVIDIA 通过极致协同设计,在每台计算机、软件栈各层不断创新、优化和创造新算法,同时设计加速这些算法的架构,贯穿整个领域。我们把这种做法称为“极致协同设计”,它让 AI 加速了 100 万倍,而且我们会继续这么做。
这就是 NVIDIA 今天打造的东西,也是我们帮助欧洲加入 AI 生态和 AI 经济的基础。早期的 Pascal、Volta、Ampere 和 Hopper 都以 GPU 为核心。我们发明了新的 DGX 外形规格。随后 Blackwell 首次把机架级计算带给世界,我马上会展示:整个机架系统变成一台巨型计算机、一颗 GPU。
现在,Vera Rubin 把处理范围从模型、大语言模型扩展到整个智能体。稍后还会回到这张幻灯片,但请记住:智能体必须思考,这由模型负责。感知、推理、规划和使用工具都运行在为此设计的大语言模型上。但智能体还有一个称为 harness 的部分,基本上是数字智能体的外骨骼。人有大脑,身体其余部分构成外骨骼;智能体也需要一个外骨骼来协调工作,让智能体真正参与……
Vera Rubin 系统与实体展示
智能体有记忆,包括活动记忆、工作记忆和长期记忆,也会调用工具。第三部分是一台处理知识、专为数据处理设计的计算机;最后还有一台专用于 CUDA-X 库的计算机,负责运行工具。这些计算机合起来就是完整的智能体系统。
Vera Rubin 已全面投产,现场看实物很不错。这是世界上第一台我们打造的无缆线计算机,没有电线,完全采用液冷,真是令人欣喜。哎,等一下……好,能把它拉出来真令人高兴。这就是一台 Vera Rubin 计算机,里面有两颗 GPU。
以前以 Grace Hopper 和 Blackwell 为例,组装一个节点要花两个小时;你们一会儿看到就明白了,到处都是电缆和电线,而且只有 80% 液冷。现在 Vera Rubin 100% 液冷,组装不到 5 分钟。这是了不起的成就。它能提高制造周转速度,大幅提升可靠性,性能也更好。
这是 NVLink 交换机托盘,用来连接 72 颗 GPU。这里目前装了四颗;整套系统会把 72 颗 GPU 连成一颗巨型 GPU。每颗 GPU 的性能是 20 petaflops,72 颗连起来就是一个巨型系统。
这也是我们新的 Vera 计算机。这个礼堂座无虚席,全球还有 100 个观影会场,共有 15,000 人正在观看。我会继续把主题演讲讲完,最后有些很有意思的东西要给大家看。先让大家“受点教育”,之后就有娱乐内容了。(笑)
这是全新的 Vera 计算机。Vera CPU 非常强大,每个时钟周期可执行 8 条指令。它采用全球首个 LPDDR 内存子系统,兼具高性能、高带宽和极高能效。其片上互连结构是全球最快的,因此数据处理能力非常突出,智能体会话的启动和处理速度也非常惊人;这正是它的设计目标。
这台设备是 Spectrum-X,是世界上首个共封装光学产品。地上有些区域会塌下去,有些区域可以走,我不确定具体是哪一块。好,如果我不小心消失了,你们就知道——这不是特技,是意外。你们可以看到这里的激光,激光通过光学器件上来,直接连接……
共封装光学与 AI 工厂架构
激光直接连接到芯片上。这使用了我们与台积电共同发明的 COOP 制程技术,让硅光子直接贴合在芯片上。否则,这些部分都会是印刷电路板,而 PCB 的传输能力远不如光缆。现在我们可以把极高速、高质量的数据直接送上芯片;它直接进入光学器件,不必先经过 PCB 和收发器。这是全球首个共封装光学(CPO)产品,已经全面量产:512 个端口,每个端口 200 吉比特每秒,是世界上最先进的以太网交换机。我们为它感到自豪,谢谢。
这使我们能够处理大语言模型的思考过程、智能体 harness、智能体知识所需的数据处理,以及所有工具所需的加速计算。这基本上就是智能体工作负载,稍后我会进一步说明。
Vera Rubin 已全面投产,性能极其出色。正如我提到的,每一代产品都通过极致协同设计取得远超预期、远超摩尔定律所能带来的性能。摩尔定律基本上已经走到尽头,因此我们需要从芯片到系统、系统软件、算法,再到整座 AI 工厂,全链路采用极致协同设计。Vera Rubin 是在 Blackwell 基础上的又一次巨大飞跃。Blackwell 在智能体和大语言模型处理方面比 Hopper 快约 30 倍;仅两年后,Vera Rubin 又比 Blackwell 快 30 倍。我们来看看 Vera Rubin 如何组成 DSX 全栈 AI 工厂。
AI 正带来历史上规模最大的基础设施建设。工厂极其庞大,投资也非常巨大,必须把它建好。仅有优秀芯片并不足以打造优秀的 AI 工厂。NVIDIA DSX 是与全球领先基础设施公司共同创新的全栈 AI 工厂参考架构,把计算、网络、存储、软件、电力和冷却作为一个系统协同设计,并从设计到运营全程优化。
DSX 从数字孪生开始。在动工前,先以虚拟方式验证性能、电力、用水和规模。PTC 把设备设计转成可用于仿真的资产;达索系统通过基于模型的系统工程连接机架与设施设计;施耐德电气仿真配电和液冷;Jacobs 在 Omniverse 数字孪生中整合所有部分;西门子评估热、声学和电网影响;Procore 支持施工阶段规划。
电力限制了 AI 工厂的产能。DSX Max LPS 是端到端控制环路,动态调配电力以匹配工作负载需求,在产出相同的情况下可少用 30% 的电力。
DSX Pod:让 AI 工厂快速部署
DSX 重新设计了冷却方式。NVIDIA Vera Rubin 系统采用闭环液冷,冷却液温度最高可达 45°C。在气候适宜的地区,户外干式冷却器可以把热量排到空气中,无需蒸发用水。对于 2 吉瓦规模的设施,DSX 每天可节省 5,400 万升水,相当于 18 万户家庭一天的用水量。
但 AI 工厂可能需要数月才能建成;投入运营前,它不会生产任何 token。今天我们宣布 NVIDIA DSX Pod,把这套全栈平台做成工厂预制的一体化系统。它从 Vera Rubin NVL72 开始:七个液冷计算机架,通过 17 公里 Spectrum-X 电缆连接,组成 Vera Rubin DSX Pod。Pod 已完成集成、布线和工厂测试,再装入可运输集装箱交付。干式冷却器取代传统蒸发冷却,800 伏直流电直接接入机架以高效供电。现场公用设施就绪后,预计部署时间可由数月缩短到几天。NVIDIA DSX 从设计上就面向 AI 工厂;有了 DSX Pod,工厂可以“以光速”建成:每瓦产生更多智能,更快得到第一个 token。
你们觉得怎么样?
2016 年,我们推出了全球首台 AI 超级计算机,当时它只有一个 GPU 节点。三年前,我们推出 Grace Blackwell NVLink-72 机架级计算机。两次我们都不只重造计算机和软件,也重造了供应链。以 NVLink-72 为例,我们把原本要在现场组装的整架设备,改为在供应链内组装,基本上实现了规模化制造超级计算机。这让我们能够迅速行动,同时为全球数百个数据中心建设项目供货。现在世界上每一家计算机制造商都在制造 NVLink-72。我们如今的计算设备产量史无前例,难以想象。
即便如此,把系统运到现场后仍要花好几个月组装。刚才提到,光是规模扩展计算的 Spectrum-X 就要连接 17,000 公里线路——17 公里电缆,17,000 公里线路,这是个疯狂的数字。如果我们把所有东西都在供应链里搭建起来、完整运行、完成认证和老化测试,出货时设备就能完全可用。现场布线和组装工作会大幅减少。但更重要的是……
供应链部署如何影响算力收益
把组装移到供应链中后,数据中心里闲置的计算资源会大幅减少。记住,每吉瓦数据中心成本约 500 亿美元,预期每年创造数百亿美元收入。假设这类基础设施每年带来 400 亿美元收入,若仅延迟三个月……是 50 亿?抱歉,是多少?100 亿美元收入。损失 100 亿美元会让任何人都焦虑。
因此,把系统组装前移到供应链,可以把从设备到场、安装到开始生产 token 的时间,从我们估计的 4 到 5 个月缩短到大约一个月。这会彻底改变全球供应链,也改变数据中心的安装和建设方式。希望周转速度提高后,闲置计算和浪费的资本支出会减少,让所有人更有盈利能力。这就是把 NVLink-72 装进大型机柜系统后的 DSX Pod,是 NVIDIA 计算的下一次跃进。
现在,你制造什么、如何制造,会让你与众不同。欧洲的独特之处在于你们的专业:设计机器、运营工厂、发现药物,你们拥有非凡的工艺和专长,这正是你们特别的地方。
NVIDIA 的独特之处主要有两点。第一,我们的架构是唯一通用的加速计算架构。我们不只针对某一种算法(例如 Transformer)做专门优化,而是覆盖所有可并行处理的任务:流体和粒子、量子、量子化学、图像处理、数据处理、结构化向量数据处理,以及各种处理工作。我们长期投入,而且架构 25 年来始终保持一致,因此支持和加速的算法、领域及行业都大幅增加。庞大的装机基础、通用架构、对架构的长期投入,以及与全球各行业的合作,让 NVIDIA 架构无处不在。
第二,是我们实现它的方式。我们不仅开发架构,也把它做成完整的全栈 AI 工厂。世界上许多公司想设计自己的芯片,但大多数只想部署 AI 基础设施,在上面运营业务。对大多数公司来说,设计芯片、造超级计算机、编写所有软件都完全超出能力范围。
一种架构服务多类 AI 市场
我们把 CUDA 与全栈 AI 工厂结合起来,因此能够进入原本无法触及的市场,也因此能和这里这么多公司合作。
先看云服务提供商(CSP),很多人认为如今绝大部分 AI 都在这里。但正如演讲开头所说,还有很多其他类型的公司。CSP 仍然是全球计算业务中的大块市场,但世界各地也出现了许多 AI 原生公司和新云厂商,因为每个地区都想参与 AI 经济,并确保本地宝贵资源和能源服务本地企业。例如法国的 Mistral、欧洲的 Nebius,以及欧洲各地建设新云的许多公司。还有为全球企业制造计算机的 OEM 和 ODM,以及 AI 实验室。
去年大家谈的几乎全是 OpenAI;现在我们谈 OpenAI、Anthropic,也谈 Meta 的 Muse、Grok、Bot,当然还有 Gemini。许多不同 AI 实验室都在参与前沿研发。
最终要让 AI 成功、让欧洲从 AI 受益并形成 AI 生态和经济,最重要的是各终端市场和行业都要采用 AI 并取得成功:汽车行业要打造自动驾驶汽车,制造业要用机器人,医疗行业要发现新药,金融服务业也要转型。所有这些行业都必须成为 AI 公司。凭借 CUDA 和我们的计算机设计方式,NVIDIA 有能力服务 AI 的每一个细分领域。
一种架构,服务多个市场。基础设施投资巨大,所以必须尽可能快地投入生产,也要能灵活用于各种工作负载:从 AI 旅程开始的数据处理、训练、后训练,到推理和智能体处理的每一步;从化学、物理到语言模型;从各种行业到它们使用的算法。NVIDIA 架构可灵活适配,持续创新、持续更新软件。庞大的装机基础带来了丰富的软件生态,也让这些架构持久、灵活、富有生产力。
基础设施就位了。接下来要用它做什么?过去一年,AI 出现了转变:AI 开始创造实际生产力。今年年初我们谈到了 OpenClaw,它带来了开源智能体的概念,也真正开启了如今全球都能看到的……智能体浪潮。
智能体的五个组成部分与安全
智能体会思考、推理、迭代、使用工具,因此会消耗海量 token;但也因此变得有用。智能体越来越多、越来越有用、使用者也越来越多;它们思考时需要大量 token,token 消耗量已经暴涨,GPU 需求也随之飙升。
这是一个智能体。它有五个组成部分。第一是语言模型,模型 token 在 GPU 上运行,并为智能体生成 token。第二是我称为“外骨骼”的 harness。OpenClaw harness 运行在沙箱内,与系统其他部分隔离。这是一个非常重要的概念,稍后会再谈。五个组成部分是模型、harness、沙箱、知识和工具。
在谈如何让智能体有用之前,最重要的是确保它安全。智能体是自主系统,可以访问文件、资源、网络和工具,因此必须只给予它最低限度的权限,并持续监控。我们推出了一个全新平台 OpenShell,来得正是时候。它是提供上述能力的安全运行时,还附带基于硬件的监控器。先看一段视频。
企业正准备部署数十亿个 AI 智能体。要发挥作用,它们会推理、规划、使用工具、访问数据并协同工作。如今,唯一阻止智能体滥用这些权限的,似乎只是礼貌地请求它:“请不要删除任何东西,不要推送到 main,也不要碰我的 SSH 密钥。”这种“拜托不要”的做法,只能寄望于智能体听话;希望不是安全机制。安全不是愿望,而是技术和工程。
NVIDIA OpenShell 与 Sentry 将这种理念付诸实践。你为每个智能体规定可触及的范围,OpenShell 会在系统调用、文件访问和网络连接的粒度上执行策略。形式化验证会检查每次策略变更是否超过权限上限,确保智能体不会获得超出预期的访问权。这就像互联网早期病毒横行,后来浏览器开始严格限制网页行为。OpenShell 为智能体做同样的事:在智能体之外执行限制,而不只依赖大语言模型的护栏,把原生智能体安全带入基础设施。
每个智能体都在独立沙箱中运行,不能直接连接网络。所有外发网络请求都经过沙箱外的监督器,根据策略核验;未获许可就会拒绝。密钥留在监督器一侧,只会在请求前往获准端点时加入。被攻陷的智能体无法泄露它从未持有的密钥。网关是控制平面,监督器负责决策,沙箱约束智能体,策略验证器则检查拟议策略是否超过权限上限。
OpenShell、Sentry 与模型选择
OpenShell 把 Linux 内核隔离与运行时策略执行结合起来。NVIDIA Sentry 还可在主机之外、远离智能体的位置增加一层可选保护。Sentry 运行在 NVIDIA BlueField 4 上,在硬件隔离的信任域中监控智能体活动并执行安全策略。由于智能体推理流量经过 Sentry,如果智能体计划做出非预期操作,Sentry 会立即更新策略并切断与模型的连接,在毫秒内将其隔离。它还会保留防篡改记录,供运营人员核验、检测、调查和响应。
OpenShell 采用 Apache 2.0 开源许可,可运行在智能体所处的任何环境,从边缘到云端,只需两条命令即可采用:安装 CLI、创建沙箱,然后运行你喜欢的智能体。智能体的效用取决于你授予它的访问权限;OpenShell 和 Sentry 让这些权限受你控制,让 AI 能力与安全同步推进。
智能体是自主系统。我们必须打造极其安全的技术,才能安全地开发和部署智能体。宣布 OpenShell 后,几乎全球所有主要公司——从前沿实验室到操作系统公司、网络安全公司和平台公司——都开始采用它。这正逢其时,因为我们即将把智能体部署到全世界。
这不仅是提供服务的公司在部署智能体时使用 OpenShell,更是全球所有公司都要采用 OpenShell,才能接纳智能体并让它们在公司内部自主运行。每种能力等级、每个任务、每位使用者的组合,都需要不同权限;每次启动智能体,权限也可能不同。因此权限、策略执行和监控都必须动态完成。
我很高兴宣布 Anthropic 和 NVIDIA 正合作打造 Claude OpenShell 智能体,网站上有详细介绍。首先要考虑的是如何使用这些 harness:OpenClaw、Hermes、OpenHands;你可以用 LangChain、Deep Agents 构建自己的 harness,也可以直接用 Python 编写。各种 harness 都可以放在 OpenShell 的安全沙箱中运行。
接下来谈模型。未来不会只用一个模型处理所有事情,而会使用最适合的模型,无论闭源、开源还是定制模型。有些工作很通用,通用人工智能会做得很好;有些工作涉及大量专有知识和专业能力,就需要不断增强模型智能。
用开放模型打造企业专属 AI
未来每家公司都会同时使用闭源模型和自行定制的开源模型。演讲结束前你们会看到,打造自己的 AI 并没有那么难,首先当然从模型开始。
我们一直致力于推进开放模型,打开新机会,让大家打造定制 AI。NeMoTron 面向语言;Cosmos 是我们的世界基础模型;GROOT 用于人类和机器人;Alpaca IO 面向自主导航;Ising 用于量子经典计算;还有 Earth-2 物理 AI。在这些不同领域,我们都提供模型,并会持续研发。我们已经做了十年,还会一直做下去。
我们完全开放地提供模型、相关数据,让你了解模型的来源,也提供重现模型所需的脚本。不只有开放权重,我们还提供完整配方和数据,让你重建开放模型,了解它从何而来并建立信任。
这些模型未必处于最前沿,尤其是语言模型。但通过定制,以及我们合作的生态伙伴,你可以把它们提升到前沿水平,将专有数据转化为自主可控的智能。比如 A21 帮助 Alice 把 NeMoTron 转成超越前沿能力的模型;Base10 帮 CodeRabbit 在自有数据上微调 NeMoTron;Trajectory 与 Harvey 也用 NeMoTron 进行后训练,构建自己的前沿能力;Scale 与 Skydance 同样如此。例子还有很多。重点是:你可以从 NeMoTron 这样的强大开放模型开始,用自己的数据进行后训练,针对自身场景实现超级智能。技术已经齐备,这是很合理的做法。还有 Palantir 与 Tampa General Hospital 的例子。
我们的合作伙伴生态非常丰富,世界各地有很多优秀公司可以帮助你们。我若只提一家,就会得罪其他所有伙伴;我爱他们每一家。总之,第一是运行在安全沙箱 OpenShell 中的智能体 harness;第二是 NeMoTron 大语言模型,这是所需的前两个组件。
但真正把智能体变成超级智能体的,是让它访问公司的知识。这很特别,我们称之为“智能体知识基础”。我们提供一系列世界级模型,帮助把公司数据转化为可用知识。数据可能以非结构化文档形式存在,AI 需要理解如何读取 PDF 和其他非结构化文件;也可能是数据库里的结构化数据……
企业知识基础与 CUDA-X 工具
我们提供了帮助你从公司数据中提取意义和理解所需的库与工具。逐一来看:NeMoTron Parse 是世界级模型,在排行榜上名列前茅;NeMoTron Embed 把查询与向量数据库中的相关知识关联起来,也位居排行榜前列;NeMoTron Rerank 会找到与查询相关的多条数据来源,并按与你的相关程度排序。
Kumo 可以基于结构化数据库预测可能发生的事情。比如,你发现某个供应商可能会缺货或延迟供货,这条信息可能在非结构化文件中;公司的订单信息则可能在 SQL 等结构化数据库里。利用 CUDA 可以预测哪些订单会缺货以及延迟多久;再通过向量数据库搜索,找到可替代部件的工程文档。所有这些库和数据处理能力共同构成你的知识基础,让 AI 获得公司的专有数据和知识。
最后一部分是工具,也就是专业工具。多年来,NVIDIA 一直在开发 CUDA-X。AI 之前,我们的许多对话都在谈如何加速模拟器、求解器、数据处理引擎和各种领域专用库。它们用于科学发现、各种科学领域、工程、研究、设计、制造和创意艺术。核心是 CUDA-X 库,也就是算法。你们知道,算法很美。我们来看看。
工具让智能体真正完成工作
数学很美。CUDA-X 库是公司的核心资产。为什么?打造 AI 助手时,它可以是实验室助手、研究助手、共同设计者,也可以是与你一起创造事物的伙伴。但最终,真正让这些智能体有用、能做实际工作的,是工具。
我们现在有能让智能体推理、理解信息、规划,并反复行动和使用工具直到完成工作的模型。但归根结底,还是工具。这些工具是我们多年研发的成果。我刚才右侧展示过一台专门运行这些工具的计算机,支持流体动力学、粒子物理、量子化学、数据处理、光线追踪等各种任务。所有工具都在同一台计算机上运行,较直接在 CPU 上运行可加速 10 倍、50 倍、100 倍。CUDA-X 工具赋予智能体专业工具。看看其他人如何使用它们。
这就是智能体背后的妙处。智能体最终必须使用工具。最早的智能体应用领域之一是软件编程,那时编译器或 Python 就足够了。但未来它们会承担越来越多有用工作,我们就需要提供更多工具。
例如 Luminous Sciences 正在打造实验室助手,使用 NVIDIA BioNeMo 模型理解蛋白质和细胞,并生成用于药物发现的蛋白质和化学物质,同时调用 CUDA-X 工具。西门子正在打造工厂智能体,使用理解物理世界的 NVIDIA Cosmos 世界基础模型和 CUDA-X 工具。达索系统则在创建虚拟伙伴,使用 NVIDIA NeMoTron 语言模型和 CUDA-X 工具。来看它们如何实际运行。
再聪明的科学家也需要实验室,最优秀的工程师也需要模拟器和求解器,AI 智能体也一样。智能体由五个构件组成:模型负责感知、推理和规划;harness 协调工作;知识基础为智能体提供公司结构化与非结构化数据的上下文;工具让智能体能够模拟、实验和行动;NVIDIA OpenShell 则控制智能体能访问和执行什么。
可以从前沿闭源模型开始,也可以定制开源模型。借助 NVIDIA 智能体工具包,任何公司都能把知识和专长转化为定制超级智能体。来看三个例子。Lyra Sciences 的目标是设计一种治疗 B 细胞淋巴瘤的方法。基于 NVIDIA NeMoTron 构建的 Lyra Iris 智能体,会把这一目标转化为实验计划。在计算干实验室里,Lyra……
从药物研发到汽车设计的智能体案例
Lyra 的智能体使用 NVIDIA BioNeMo 工具包调用蛋白质设计和 RNA 优化模型,运行数百万次虚拟实验。最有希望的候选进入 Lyra 的 AI 科学工厂,由基于 NVIDIA Omniverse 和 Cosmos 开发的自主机器人和仪器进行制造与测试。结果再返回 Iris,指导下一轮设计与实验,如此循环。
在西门子埃尔兰根电子工厂,目标是让新产品投入生产。Process Preparation X 智能体使用 NVIDIA Cosmos 生成虚拟原型和合成数据,并在生产开始前训练、验证检测模型。用 NVIDIA 工厂运营蓝图构建的 Intelligence Center X 智能体,利用订单、供应情况和生产线配置推荐生产计划。Digital Twin Composer 使用 NVIDIA Omniverse 库,通过物理仿真和工厂实时数据验证计划,再将变更送到生产现场。
在达索系统平台上,一位工程师要把大众 Golf 车门设计调整为适用于 Tiguan。Aura 和 Leo 使用 NVIDIA NeMoTron 对工程需求进行推理。harness 协调专用子智能体,并在规划、设计和仿真各阶段保留上下文。Aura 使用 Innovia 根据车辆尺寸、重量限制和其他工程要求规划工作;Leo 设计智能体挑选兼容的 Golf 车门方案,并用 CATIA 重新设计为适用于 Tiguan。Leo 仿真智能体调用由 NVIDIA CUDA-X 库加速的 Simulia 测试不同方案,发现振动问题,再把结果交回设计智能体改进。工程师审阅改进后的设计并选择最终方案。
目标不同、专业知识不同,但构件相同:开放模型、CUDA-X 加速工具、OpenShell 安全运行时,由 NVIDIA 智能体工具包整合。
很棒,对吧?有人说 AI 会终结软件、终结工具公司;实际正好相反。AI 会让使用这些工具的人比以往更多。每一家工具公司都会成为 AI 公司、智能体公司:不只提供工具,还会提供特别优化、擅长使用自家工具的智能体。Keyence、CrowdStrike、达索系统、IQVIA 和几乎所有企业公司都在打造智能体,我们很高兴与它们合作。
打造智能体并不难。它有五个部分:模型、harness(各有闭源和开放版本)、OpenShell 安全运行时,最重要的还有知识和工具——它们属于你,代表你的专长。这一切现在都做得到,稍后我会展示更多。不过先谈物理 AI,也就是 AI 的下一波浪潮。它理解物理世界并能推理,因为物理世界多样、复杂、长尾极长;要与之互动,就必须使用恰当工具。
人们想到物理世界通常会想到机器人。我最喜欢的物理世界应用之一,是无线电……
物理 AI:通信网络、医疗与自动驾驶
……蜂窝通信基站。它不用摄像头、扬声器或麦克风,而是用无线电波感知世界。它理解周围环境、处理信息并进行推理,再通过波束成形与世界互动。所以,这项技术天生适合 AI。AI 将彻底改变电信方式,大幅提高频谱效率,就像光线追踪改变图形一样。你们看到的所有图形都是 100% 光线追踪;过去认为必须进行的计算量,与如今应用 AI 后的计算量相差 100 万倍。我们也将把频谱效率的大幅提升带入电信网络。
除此之外,我们还会改造这些蜂窝基站。西方世界大约有 10 万个站点、约 100 吉瓦的分布式数据中心,未来会成为分布式 AI 基础设施。我们很高兴与欧洲多家公司合作。经过近八年的研发,就在上周,NVIDIA 与 Nokia 首次通过 T-Mobile 网络打出了商业电话。现在 CUDA 已经能够按传统方式打电话;在此基础上,我们就能叠加 AI。这场变革即将开始,对我们而言机会巨大。
我非常期待的另一个物理 AI 应用,是机器人放射治疗。治疗过程中,肿瘤形状和人体都会改变。自适应放射治疗机器人必须感知环境变化、定位并精准分割肿瘤,再据此精确调整放射治疗。这本质上是一种机器人手术。
当然,近期规模最大、最受关注的物理 AI 应用,是我们研发十多年的自动驾驶。我们意识到,每家汽车公司都会希望让自己的汽车加入网约车车队。今天有 Uber,在欧洲有 Bolt,也有 Grab、Lyft 等服务。未来这些网约车网络也会接入无人出租车,而且不会只来自一个品牌。
这些系统,尤其是其上运行的软件,开发成本极高。因此我们决定建立一个统一标准架构:14 个摄像头、9 套雷达、3 个激光雷达,以及大量超声波传感器,组成一层传感器“茧”,由双 NVIDIA GPU 自动驾驶计算系统驱动。我们把它变成行业标准,现在它正被设计进一支又一支汽车车队之中。其上还有自动驾驶软件公司——NVIDIA 本身也是其中一家——打造自动驾驶出租车能力,再接入网约车服务。这个生态正在逐渐成形,世界……
机器人产业的标准化机会
全世界每年行驶约一万亿英里。未来其中许多里程会由移动出租车完成,每英里收费一两美元。这是巨大机会,但市场极其分散。通过建立 Hyperion 行业标准并与完整生态合作,我们可以形成庞大的虚拟车队,让所有人都能接入。
我很自豪地宣布,又有四个品牌、四款车型即将加入:大众厢式车——我想不出比它更具代表性的车型;JLR 全新车型;沃尔沃车队;以及梅赛德斯下一代车型。它们都会兼容 Hyperion,加入这个网约车网络和无人出租车车队。欢迎 Hyperion。
下一个重大行业、很可能规模极其庞大的行业,是人形机器人。机器人难做,是因为各种工作差异很大。若每种任务都要专门配置,就会把机器人行业分割成许多不同配置,阻碍技术飞轮运转。手机、个人电脑和 NVIDIA NVLink-72 之所以进步这么快,是因为标准化配置让许多客户都能使用,带来规模,规模又推动技术飞轮,让产品变得更快、更好。因此我们需要尽可能标准化的机器人配置。
人形机器人显然并非适合所有工作,但很可能适用于很多任务,因此会成为规模最大的机器人配置。如果 AI 能让机器人快速学习,那么没有完整机器人团队来教导和编程的中小企业,也可以直接示范任务。机器人凭借通用能力和通用智能,就能快速学习和适应。这很可能成为下一个主要技术平台。我们正与许多公司合作,你们会认出其中不少欧洲企业;这是你们的大好机会。
没有任何国家或地区像欧洲这样,专注于精密且工艺卓越的机电一体化、电子和机械系统。这里许多公司都极其擅长制造。这会成为下一个高产量产业;很多公司已经参与其中,我们很高兴与你们合作。
要打造物理 AI 系统,需要三台计算机。第一台是大家熟悉的 AI 模型训练计算机。第二台让 AI 学习技能。不能只让 AI 编写 AI,然后直接把它放到物理世界里任意行动;要先在数字孪生里训练。我们打造的数字孪生叫 Omniverse,之前反复介绍过;刚才看到的 CUDA-X 库也都是在数字孪生环境中开发的……
物理 AI 的三台计算机与参考机器人
……这些数字孪生都在 Omniverse 中创建。Omniverse 是一个连接各种平台和工具的库,例如西门子、达索系统、Cadence 等。你们可以看到这些数字孪生系统逐渐建立起来。
第三台计算机是机器人计算机。以自动驾驶汽车或无人出租车为例,我们称它为 Hyperion。Hyperion 包括计算机本身、功能安全系统、主动安全系统,以及专为物理 AI 安全设计的操作系统。机器人也需要同样的体系。这样你开始研发自己的机器人时,就不必从零拼凑软件、计算系统、传感器和机械系统——那本身就要耗费数年。
因此我们决定打造一款参考机器人。这是与 Agile Robotics 合作开发的 NVIDIA Agile One。它预计明年第一季度上市,预装组装好的整机、内置计算机并集成软件,开箱后就能有不错表现。它是很好的起点,也会成为加速机器人研发的技术飞轮。
让我从今天演讲的起点来结束。NVIDIA 于 1993 年起步于 PC 革命,当时 PC 革命刚刚要开始。还记得 Windows 95 吗?它让 PC 革命加速。此后我们发明了 GPU、可编程着色、实时光线追踪,把 CUDA 加入计算模型,并帮助点燃现代 AI 革命。
四年前,我们开始思考如何为新时代重新构想个人电脑:它不只是供你使用的工具,也可以是你的个人智能体或个人助手,像伙伴一样帮助你工作。这样的电脑需要今天谈到的五个组成部分:模型,可以在本地或云端运行;harness;OpenShell 安全运行时;以及访问知识和工具的能力。
好消息是,NVIDIA 长期加速各种工具。如果我们打造一台能加速 OpenGL、DirectX 和所有 CUDA 工作的计算机,NVIDIA 历年来研发的工具都能在上面运行。这就是我们与微软合作四年的成果:RTX Spark,一个全新系列计算机。为此投入了数千个工程师年,我们秘密研发了四年,打造 N1X 芯片,最近宣布与整个 PC 行业携手推出。我们开发了台式机、笔记本和工作站版本。
它的性能是 1 petaflop。作为对照,2016 年我交付给一家叫 OpenAI 的小公司一台 1 petaflop、128 GB 内存的系统……
RTX Spark 与用智能体构建智能体
……这台 RTX Spark 也是 1 petaflop、128 GB 内存。区别在于我可以像这样把它拿在手里;DGX-1 当年得两个人才能搬上楼。这就是全新的 RTX Spark 个人电脑。
如果你想要一台运行 CATIA、Dassault、Autodesk、Adobe、Cadence、Synopsys 等软件的协作工作站,也可以选择运行 Windows 的 DGX Station。它有 20 petaflops、754 GB 内存,性能惊人。当然也有桌面版本。这些产品现在都已上市;带 Windows 的 RTX Spark DGX Station 预计今年年底上市。
到目前为止,我讲了智能体的五个组成部分。如何构建一个能在这些电脑、云端或本地运行的智能体?答案是:让一个智能体替你构建它。
这是启动下一个应用的提示词。你们将看到一个机器人应用。观看演示时记住,有一个智能体正运行在这台个人电脑上。整个演示跨三台计算机:第一台用于训练;第二台是数字孪生;第三台把 AI 部署到机器人本身。这包含两个概念:智能体如何构建、运行并用于工作,以及由三台计算机构成的物理 AI 计算模型。我们来看。
认识一下 Hugging Face 的 Micro Duck 机器人。让我们用 NVIDIA RTX Spark 教它看东西和行走。我用 Hermes 作为智能体 harness,用 Nemotron 和 OpenAI GPT-6 Astra 作为模型,并使用 CUDA-X 加速工具 FreeCAD、Blender、Isaac Sim、Newton 物理引擎和 Isaac Lab。所有工作都在 RTX Spark 上运行,只有更大的工作负载才会扩展到云端。
首先,我描述课程以及 Micro Duck 需要学习什么。在 RTX Spark 上,Hermes 与 Nemotron 规划课程并列出所需物体。接着 Astra 使用 FreeCAD 建立三维物体,用 Blender 赋予材质,并通过 Omniverse SimReady 库添加物理属性。在 Isaac Sim 中,Astra 组合场景,装配 Micro Duck 的关节、驱动器和连杆,再用 Newton 物理引擎模拟它的运动。
Micro Duck 从仿真训练到真实行走
训练开始。在云端,成千上万只 Micro Duck 在 Isaac Lab 中并行训练,每次迭代都会改进策略。Omniverse 库模拟 Micro Duck 的摄像头,教它看见东西。感知和物理协同工作后,它就能避开障碍、穿过狭窄空间,并适应周围环境。
我把策略下载到 RTX Spark,用 NeMo、Triton 和 Isaac Sim 评估 Micro Duck,并进行多机器人编排。随后把验证过的策略部署到真实的小鸭机器人上,它就出发了。NVIDIA RTX Spark,让你能在笔记本电脑上构建和运行 AI 智能体及其加速工具。
哦,是吗?来,过来这边,让大家看看你会走路。好,站起来。去睡一会儿。(稍后)好,站起来。你知道你是在这里被创造出来的吗?你是在 RTX Spark 上被创造出来的,然后在云端用一大批 NVIDIA 超级计算机训练;之后又在 RTX Spark 上、在 Omniverse 数字孪生里学会技能。这是不是很惊人?
你们真可爱。你们的“父母”叫 Pollen,对吗?Pollen Robotics。大家太喜欢你们了,产品已经售罄。大家上过 Pollen 网站吗?正在观看的所有人——可能有 2,000 万观众——都去 Pollen 网站下单吧。这家初创公司好像只有十个人,可能一下就会火起来,太令人期待了。每个人都该有一只。我们用 RTX Spark 教你们新技能,好吗?哎哟,看看这个,太棒了!你会翻跟头吗?太好了,哇!
今天我们谈了什么?我们谈到欧洲建设自己的 AI 经济,而这一切始于基础设施。我们宣布了一个全新系统,叫 DGX Pod,让大家更容易建立 AI 工厂。这些 AI 工厂……
AI 工厂将运行完整智能体
……不再只是运行模型。注意力集中,来这边,过来,专心。好,坐下。AI 工厂如今不只运行 AI 模型,还会运行完整智能体。
智能体由五部分构成:大语言模型负责感知、推理、规划和行动;harness 与之协作,像外骨骼一样;harness 运行在我们称为 OpenShell 的安全运行时中;再让它访问知识和工具。智能体运行在这些计算机上,我们也正在把它们扩展到下一代应用,也就是物理 AI。
这就是我们今天谈的内容:每个人都能构建智能体。欧洲每家公司都会成为 AI 公司,这毫无疑问;欧洲将拥有蓬勃发展的 AI 经济。33 年走来,这是多么非凡的旅程。我们做了一支很酷的视频,想和大家一起看吗?来这边,我们让开一点。
这之后我们该怎么接啊?
有一件事能让现场气氛更热烈。
是什么?
你们不会相信:GTC 变成欧洲歌唱大赛了!
从柏林开始的主题演讲,AI 的下一篇章就此开启,智能体将在你身边工作,欧洲的时刻已经到来。错过了演讲内容?GTC 会为你拆解。德国!这是一个关于世界如何建设新产业的故事:先有发电厂让能源规模化,再有数据中心。如今我们不再只是把煤变成瓦特,AI 工厂把沙子变成思想。GPU 像资产一样创造价值,像芯片一样绿色,却像现金机器一样产生收入。
智能体编写代码、做出决策;给它们自由,也要控制任务。OpenShell 检查访问权限,拒绝凭证访问;BlueField 上的 Sentry 全天候保护沙箱。我们推进 AI,同时限制风险,保持负责任的乐观。RTX Spark 让智能体明亮、安全;现货价格让成本合适。量子、游戏等工作也能在一体机上完成,因为它通用。AI 有了身体,正在学习重力和摩擦定律,并使用真实工具。借助 Isaac Lab 和 Cosmos,它们能自主训练,就像机器人上大学还不必背学生贷款。DSX Pod 让 AI 协同运转,少耗电、多智能,像会思考的乐高积木。QVS Name、Aetron 和 Comma 也在这里,用知识飞快构建完整技术栈。AI 的五层……
致谢与欧洲 AI 经济的邀请
……AI 的五层结构。
欢迎来到 GTC。我要感谢在场的各位,也感谢所有赞助商。你们可以看到许多公司的名字,他们都是我们的合作伙伴;我们与其中许多伙伴合作了 33 年。还有 Micro Duck,我的新朋友们。让我们携手建设欧洲的 AI 经济,让 AI 真正投入工作。好,去吧。祝大家 GTC 愉快!