开场与 Simile 的愿景
欢迎大家来到本周在斯坦福举办的创业思想领袖研讨会。ETL 由斯坦福工程学院创业中心 STVP，以及管理科学与工程系 MS&E 联合主办。
今天我们很高兴请到一位斯坦福自己的教授担任主讲。能邀请斯坦福教师来做主题演讲，总是特别令人开心。今天的嘉宾是 Michael Bernstein 教授。现场有多少人听说过他，或者上过他的课？
Bernstein 教授既是 Simile 的联合创始人兼首席数据官——这是一家做 AI 数据模拟的公司——也是计算机科学系教授。他在加州欧文长大。欧文的朋友们，欢呼一下！
他在斯坦福读的是符号系统专业本科。现场有符号系统专业的同学吗？声音不大，但大家都很自豪。很好。他本科时还执导过《舰队街》（Fleet Street）。有人知道这部作品吗？（观众回应。）对。
之后他在 MIT 获得计算机科学硕士和博士学位，又在 Facebook 数据团队做过博士后研究，随后加入斯坦福教职。2025 年，他和一位博士生及几位教师共同创立 Simile。公司已从 Index、Bain Capital 等知名基金募集了超过 3 亿美元风险投资。
Michael 春季还开一门社交媒体传播课，教大家如何让内容走红。所以，如果你们有朋友在琢磨怎么设计病毒式传播，要感谢 Bernstein 教授给他们上过这门课。
今天 Bernstein 教授会先做一段分享，时间允许的话，我们再进行炉边谈话和问答。大家可以开始想问题、准备提问，我们尽量多安排一些。下面请欢迎 Bernstein 教授来到 ETL。
谢谢。我以前在这间教室上过课，但从来没有以今天这样的身份站在这里。谢谢大家抽出下午的时间来听我分享。我叫 Michael，现在是以 Simile 联合创始人的身份来这里，稍后会介绍这家公司；同时，我也是这里的计算机科学教授。
他们希望我多讲故事。这里的故事实在太多了。我想先说明我们做出了什么、正在开发什么，以及我们为什么对此兴奋；然后把大部分时间用来讲讲一路上学到了什么，其中有些事至少我自己事先没想到。
先说 Simile 是什么。谢谢刚才那些好话。Simile 是一台“假设机器”。我们在董事会会议室、会议、辩论、Zoom 上，总是在猜人们会如何回应我们做的事。比如：如果我们推出这个产品会怎样？换一种方式介绍呢？改变目标用户呢？如果我们改变斯坦福的大一课程呢？
我们会根据能拿到的信息做很多决定，但说到底，这些决定往往还是在下注：根据目前最好的数据下注，可我们经常猜错。Simile 想打造的，正是一种我们称为“人类行为 AI 模拟”的能力。
从研究走向行为模拟
我们要做的是人类态度与行为的基础模型，也就是一台假设机器：你可以问“如果我们这么做，人们会怎么回应？”无论你在开发产品、服务还是别的东西，大多数决定说到底都取决于人会怎么行动。它让你可以提出反事实问题：如果我们这样做，人们会怎样回应？如果最后失败了，过程中可能出了什么差错？我们成功或失败的合理原因分别是什么？也可以直接问：“如果我们做这个改动，人们会有什么反应？”
我们的目标不是做出编程或数学证明能力超人的 AI 模型，而是让模型在数学上和人类一样不擅长，而且以同样的方式出错，这样我们才能拿它来回答这类问题。
他们让我讲讲创业过程。我的建议是：在斯坦福做研究。Simile 源自我所在计算机科学系研究团队的工作，由 Joon Park 带头；他现在是 Simile 的 CEO。他的博士论文由我和 Percy Liang 共同指导。我们一路研究下来，在 ChatGPT 出现之前就意识到，这些语言模型确实读过心理学、经济学、法律、社会学等领域的教科书。如果能把这些知识引出来，模型就能开始表现出类似人类的行为。
起初我们为在线社交网络构建模拟器，看看各种网络喷子会做什么。后来，我们把它推广成一种智能体架构，用来创建类似人类的智能体。我们把一群智能体放进一个小镇，画面看起来有点像 20 世纪 90 年代的日本角色扮演游戏。
说实话，我们把这项工作投到会议、放上 arXiv 后，Joon 原本准备第二天去度假。结果那篇论文火得前所未见，他根本没能去成。研究在网上到处传播。我还听说，斯坦福有人在德国哲学课上读这篇论文。这体验很特别，但大家也一直追问：“这到底有多准确？”
于是我们又做了一个研究项目，找来一千名具有代表性的美国人，通过定性访谈为他们建立数字分身。我们会让 AI 访谈者和参与者进行口头对话，比如请对方讲讲自己的人生故事。我们用这些访谈为一千人建立数字分身，然后让这批人完成一系列社会科学测量，包括综合社会调查、行为经济学博弈、五大人格量表等。
结果发现，这些数字分身对人们态度与行为的复现程度约为 85%；而且两周后让真人再次回答时，分身的表现和真人复测的自我一致程度相当。于是这项工作看起来不只是有意思，还可能真的挺准确。
之后我们开始对预训练后的语言模型做微调，让它们越来越准确地模拟人类行为，而不是朝着“超人类程序员”的方向训练。正如刚才提到的，2025 年我们把这项工作从学校独立出来；Joon 完成博士学位后担任 CEO。我和 Percy 继续参与。计算机科学专业的同学里，可能不少人上过我们其中一人的课。我们还请来 Lainey Yallen，作为第四位联合创始人。她是首席运营官，负责很多市场拓展和商业工作。
这四个人——我就不评价自己了，另外三位都非常优秀——也说明了联合创始人有多重要。
Simile 提供的是一种随时可调用的受众群体。你可以向他们问任何问题。比如：“如果我们在 60 秒内批准你的贷款，你会跳过经销商吗？”然后马上获得洞察，不只是一个定量估计，还能知道背后的原因。
产品用途与客户问题
我们不只会给出定量估计，判断某件事会不会发生，也会解释它为什么可能发生。
我们可以接入第一方数据。我每周都在收集数万人的数据，了解他们为什么做出那些决定，并引入行为数据、自我报告数据，以及任何能让用户问出自己关心问题的信息。我们一直在研究：怎样让模型尽可能准确？怎样让更多人参与进来，教会模型那些开放网络上根本找不到的人类行为“暗物质”？单靠预训练数据集可拿不到这些信息。我们还要引入行为数据，让人们半夜画在餐巾纸上的任何点子都能拿来试试。
我真的见过资深高管带着孩子在迪士尼乐园排队时用这个工具。
我们会和客户一起梳理各种方法和他们想问的问题，范围从非常宏观的战略问题，到很具体的事情都有。比如有位 CEO 请我们模拟季度财报电话会上会出现的投资者问题。结果他们在财报电话会上被问到的九个问题里，我们提前猜中了七个。
客户横跨许多领域，从娱乐、金融服务、消费品到科技公司，各行各业都有。我们确实看到这类应用正在发生。媒体也报道过我们，比如客户 CVS，以及《纽约时报》的 DealBook。画面里这位还是 Jun——顺便说一句，他转行学计算机科学之前当过一阵画家。所以，别忘了把那些其他技能也带进来。
客户告诉我们，以前要花十周、还得请咨询公司做的事，现在一个下午就能完成。而且整个过程变成了迭代式的：他们不只拿到答案，还能继续问“为什么会这样？”或者“如果我换一种做法呢？”这大大增强了他们尝试不同方案、提出各种假设问题的能力。
应用场景非常多，从消息文案或定价这类一线具体问题，到非常重大的战略问题都有：我们是否应该彻底重新设计本科生的学习体验？要不要改变产品，或者改成得来速？后面这个问题真的有人会问。
这些都很有意思。我们也在尝试打造模拟的未来：从模拟一个人或一群人，逐步走向最终能否模拟 80 亿人——一个完整世界，其中不仅有人，还有他们周围的环境。这样或许能帮我们理解市场不断演化、复杂涌现的特性：如果我这么做，竞争对手会怎么回应？客户又会如何反应？这些涌现出的互动结果很难用其他方式弄明白。如果我们有准确的人类行为模型，也许就能做到。
这就是 Simile 的一些情况。我当然愿意随时深入聊技术，但他们建议我把重点放在故事和反思上。你们有些人可能知道，我去年不在斯坦福，也没有教课；我只指导了博士生，其他时间都在 Simile 全职工作。让我回顾一下这段时间学到的几件事。
第一组问题和我认为 AI 正在打破人本设计的哪些东西有关。不是所有方面，但很值得聊。
工作焦虑与智能增强
我看到的一件事是，无论你在做什么，人们都会担心这个工具会不会抢走他们的工作。如果他们是工具的使用者，心里多少也会想：它最后会不会取代我？即使你的工具本来就不是为此设计的，而且很可能也不会这样做。
你做的工具，可能是他们第一次遇到和自己工作沾边的 AI。此前他们在新闻里看到高管引入 AI、随后裁掉团队的报道，现在可能会把那些担忧投射到你身上。所以你得准备好帮助他们理解：你的工具会成为他们的超能力，而不是单纯把他们挤出去。
即使你已经尽可能把产品设计成增强人的能力，也不代表你就能完全避开这场担忧；但你确实要面对它。我觉得得带着同理心去处理，理解这可能是人们下意识的反应。他们可能一边看到机会、感到兴奋，一边也有顾虑。你怎么让他们相信，这东西会给他们超能力，而不是让他们觉得受到了威胁？
这里没有什么秘诀。不过我们发现，Simile 的部署团队非常出色。我很荣幸能和这些同事一起工作。他们会长期陪着客户，和客户沟通、建立信任。你不能把技术空投过去就算了。他们真正做的是那些困难的工作：建立信任、建立关系、一直在场。很多客户都告诉我们，团队成员是我们的差异化优势之一，也是他们愿意用我们工具的原因。
这让我很意外。我以前真觉得，只要说清楚这个工具是来增强你的能力，应该就没问题，也不会引发那些担忧。我现在不这么认为了。因为每个人都会有那么一次：AI 工具第一次靠近自己的工作。
再说一个感想。在斯坦福这些年，我一直在教“智能增强”这个概念。如果你上过 CS 147 之类的课，James Landay 肯定会反复给你讲 Doug Engelbart 这位先生。他获得过图灵奖，提出了一个很重要的理念，叫智能增强。把 AI 两个字母调换一下，变成 IA，也就是 intelligence augmentation。
这个理念说，别总想着用 AI 取代人类劳动，而要问：AI 怎么能像一块外接的大脑皮层？怎么让我们更聪明、更快、更有战略眼光？它就像一个放大器：怎样放大我们的能力？就像我刚才说的，怎样赋予我们超能力？
Doug Engelbart 提出这个理念时，正在发明交互式计算。他确实发明了鼠标，这也是他获得图灵奖的部分原因。但我认为，这种思路放到今天仍然同样成立。
人们想到 AI 时，常常会说：“我现在做这件事，可以让 AI 替我做，然后把我换掉。”这是一个替代故事，往往不会有好结果。真正能创造全新产业、新门类的，是赋予人新的超能力。我想，回顾这一路，真正让我……
设计 AI 产品时给信任留出缓冲
我回头看 Simile 的工作，真正重要的是：我不是来替代劳动力的。我让你能快速、反复地提出这些假设问题；以前你根本做不到，至少做不到这种能让你及时思考、判断的速度。这一点我曾经不确定自己是不是判断错了，很高兴后来证明没有。
从设计角度看，还有一件让我花了很多心思的事：当模型给出的预测不符合用户预期时，产品要怎么承受这一下？大家都知道，ChatGPT 有很多年连 strawberry 这个词里有几个字母 r 都数不对。
如果你在做 AI 产品，从一开始就得假设迟早有人会看到一个出乎意料的结果，并围绕这个假设设计整个产品。传统设计不是这么做的。传统设计会把所有任务和流程都想清楚，打造一段精致、顺畅的体验。你当然可以把体验打磨得很漂亮，但如果没有一个“缓冲区”，没有办法帮助用户理解模型为什么会和他们的预期不一致，你就会失去信任。
我不能替你们各自的领域下结论，但至少在模拟领域，信任是我们和用户谈话的起点，也是终点。用户信任模型，就会拿它做各种事情；如果他们不信，或者看到什么东西动摇了对模型的信任，也看不到我们有能力补救，那就完了，彻底完了。
我用过的每个 AI 产品，大概在前五分钟内都会犯一次错。我觉得你也该预期自己的产品会犯错。用户刚看到一个意料之外的结果，觉得“原来它没有我想的那么神奇”，你设计的产品要怎么重新赢回他们的信任？
在 Simile，我们做了不少设计。网上有篇博客介绍过：我们在模拟模型上训练了一个置信度模型。用户可以问任何问题，系统会给出绿灯、黄灯或红灯，表示模型在这个问题上的准确度可能有多高。
比如你问：“大家去月球上的斯坦福时会吃什么很酷的意面晚餐？”我们也会给出预测，但会亮红灯，因为没有多少训练数据能让我们对这个问题有信心。另一些问题则正好落在模型的优势范围里，会亮绿灯。我们通过事先说明预期准确度，尽量承接用户的疑虑：这个问题上我们的准确度可能比较低。
我很乐意详细讲怎么做，但这确实是你必须认真考虑的问题，至少我们发现自己不得不认真想清楚。
我们在训练模型，也在训练自己的模型。基准测试当然很好看，但大家往往只会听完点点头。我今天可以给你们看 Simile 的内部基准，但根据我经历的一切，我不确定这些数字是否足以让你有信心去用它，或者花公司的钱买它。
真正起作用的是每个人自己的体验。当用户能上手提一个自己知道答案的问题时，这才是我……
让客户亲自验证，也要把模型和产品一起做
……找到这个答案，会让他们有信心，觉得“哇”。早期有家公司在我们演示时，现场问：“你们能估算一下我们的 NPS（净推荐值）吗？”那时产品还很早期，我们在桌子底下都捏了把汗，结果模型真的答对了。那一下带来的信任，远超过我们能给他们看的任何一组基准测试。
尤其在模拟领域，好像每个人都在随口报数字：“我们准确率 85%”“92%”“97%”。97% 什么？没人弄得明白。用户也没时间研究这些，所以他们会挑一个自己知道答案的问题，亲自验证模型能不能做到。
怎么尽可能有效、又尽可能省时地建立这种信任，是我们还在思考的问题。这是设计方面的事。
再说组织建设。我常把 Simile 描述成“带着产品的前沿研究实验室”。我很确定，我们需要这样做。你当然可以用 Claude 或 ChatGPT 来估计、模拟一些东西。如果你问的是总体人群、而且答案在公开网络上能找到的问题，它们表现还可以。但人们真正关心的大多数问题并没有现成答案。比如斯坦福校长在考虑如何改进大一体验，网上就没多少关于这件事的信息。这里存在一层网上看不到的“暗物质”：究竟是什么塑造了斯坦福学生的态度和行为？
因此你既需要训练这样的模型，也需要围绕它打造产品。客户面对的是一张白纸：怎样帮他们搭建准确的模拟？怎样让他们理解模拟返回的内容？我们不能只给他们一个 MCP 接口，因为他们不知道该怎么判断和理解模拟结果。所以我们必须同时是前沿实验室和产品团队。
正如我稍后要讲的，这会让组织设计既有趣又复杂，也很有挑战，因为所有事情都变得高度跨职能。
这也带来一个问题：如今什么才算护城河？最近有多少人想过这个问题？（观众回应。）先承认我的立场偏向数据：我在 Simile 负责数据工作，所以我很看好数据作为护城河。但问题是，前沿实验室在竞相迈向 AGI、不断提升通用能力时，会顺手覆盖掉多少领域？有什么能力是持久的？
我个人认为，这是一个很有意思的领域，因为它需要定制数据，而我不认为前沿实验室自然就会越来越擅长收集这类数据。这些数据不在网上，也买不到。不过，如果你只有一个 API，又会遇到另一个难题：没有什么能让你和别人区分开来。因此我认为，数据、产品这些要素彼此加强，真的……
AI 仍处在“我的空间”时代
……变得至关重要。因为我看到，公司越往前发展、越成功，竞争对手就越多。现在感觉几乎每周都能听说一家新的模拟公司出现。你必须对自己的方法非常有信心，才能相信：即使有一天这件事大到“魔眼”开始转向你、盯上你，你也已经具备足够的东西，让他们觉得不值得直接把你吞并。
所以我的回答还是带着我的偏见：数据真的很重要。找到适合我这个任务、却不适合数学证明任务的建模方法，也很重要。做出新颖的产品当然也重要。不过要记住，现在产品能做得很快，所以不能只是给大语言模型的 API 包一层产品。
我有时说，我们现在处于 AI 的“我的空间”（MySpace）时代。我发现自己已经老了：我 42 岁。Web 2.0 刚兴起时，有个叫 MySpace 的社交网络，在社交媒体爆发前就已经出现。MySpace 很有意思，因为后来大家今天使用的社交网络，所需的基本要素它都有，但它始终没真正起飞，可能只是这些要素的比例不对。后来有人找到了配方，增长就一下子爆发了。
过去十年，模型能力大幅提升，我认为还会继续提升。但如果看看我们每天使用的设备和交互方式，其实它们并没有真正改变。我们现在仍处在 AI 的 MySpace 时代。我们用 AI 来解决什么问题？它如何改变我们彼此之间、我们和信息之间，以及我们和社会之间的互动？
我认为，我们改造了模型技术栈，却还没有改造应用技术栈。我的大胆判断是，接下来十年值得押注的，就是它会改变应用技术栈。我鼓励大家想想：它会怎么改变？为什么到现在还没变？除了用 Claude Code 之类的工具写代码，多数人的技术体验还没有改变，但它会变。最好提前想清楚，因为我认为机会就在这里。
我也把模拟看作这种变化的一个例子。它是一种新的超能力、新的可能性、一件你以前做不到的事；从这个角度出发思考很重要。
好，这是我最后一个想法，接下来你们想问什么都可以。因为我们是一个带产品的前沿研究实验室，要把所有事情都做好，既有意思，也很有挑战。所有事情都要求建模团队和数据、产品、市场拓展、工程等团队一起协作。就像你在爬一面墙，只要其中任何一部分跟不上，你就爬不上去。从某种意义上说，这要容易得多……
跨职能协作与 AI 辅助用户发现
……比只做一件事容易，也简单得多——比如只把模型做好，或者只把产品做好。但如果你接受我的判断：很多新的变革都需要把这些事情一起做好，那么就得搭建工作流、组建跨职能团队，想尽办法让大家步调一致，一起往前爬。我认为这正是当下创业公司在领导、管理——不管你怎么称呼——方面最有意思的挑战。
假设建模团队有个看起来很有希望的点子，但产品团队不知道什么时候能用，也不知道哪些情况下能信、哪些情况下不能信。产品该怎么围绕一个不断变化的模型来设计？数据团队又该怎么配合建模团队补足缺口？产品团队如何解释模型能力？市场拓展团队又该如何向客户说明？所有团队都必须同步，这意味着技术人员、非技术人员，以及不同领域的技术人员之间要持续沟通。很多非常聪明的人，得在各种层面保持同步。
这件事很有意思，也很有挑战。我觉得它甚至是我工作中好玩的部分，因为我能和拥有各种不同专长的人合作。同时我们也必须一直改进；如果这件事做不好，我们肯定会失败。事实上，我们最早遇到的一些挫折，就和这些问题有关。所以这永远是个需要改进的领域。
他们让我尽量简短，我也尽力了。我想我们还有大约 20 分钟，可以随便聊聊。
太棒了。大家给 Michael 一点掌声。接下来我先和 Michael 快速聊一会儿，然后请学生提问。我先开个头，之后我们可以把学生用的话筒准备好。Michael，刚才讲得太精彩了。两周前，我们这门课请到了 Eric Ries，他是精益创业运动的开创者。他把一种做法带进硅谷：合上电脑、走出办公室，做客户和问题探索时去跟真实的人交流。这已经成了创业的一条准则。我想听听你的看法：我们是否进入了一个可以通过 AI 做用户发现的时代？还是说，和真实的人交谈仍然有它不可替代的意义？
如果我主张，或者有人主张，彻底不再和真实的人交谈，那我这个做人机交互研究的都得被除名了。它只是一种工具，任何工具都有长处和短处。它的优势是可以立刻接触到一些不容易触及的观点，也能反复迭代。但归根结底，你想真正理解问题是什么，我认为这总有一步必须去和真实的人交谈。
我想强调这一点，因为人们很容易干脆不做用户发现，只靠大语言模型给洞察。但你的理念是，和真人交流仍然不可或缺。
我看到大家用 Simile 做的，是把过去只能保守地拿着两种想法、必须先确认它们可行才能拿给用户测试的过程，变成现在可以先有一百种想法，逐个测试和迭代，再筛成更好的两种，然后真正走到现场去验证。
所以你们先做更广泛的发散，或者说预先扩展探索范围，再开始……
AI 应用的护城河与产品切入点
对。这样一来，人们就敢冒更大的风险。我觉得最让人沮丧的是，如果你只能拿一两个方案去做实地测试，就会选最保险的那个，因为你不想最后空手而归。但现在我可以冒各种风险，看看会发生什么。
好，所以我们会更愿意冒险。我很喜欢你刚才的观点：我们正在走出以模型开发为重心的阶段，转向应用。我也喜欢你说的“魔眼”这个比喻。现在资本和人才都集中在 OpenAI、Anthropic、Google 这三大公司，做应用的人确实会担心：大公司的魔眼一旦转向你，你的时间就不多了。产品又很容易快速做出来，竞争差异也很小。你觉得我们真的正在进入应用时代吗？你刚才稍微提过，能不能再具体讲讲：怎么建立持久的护城河？面对这三大公司的资源，应该筛选或放弃哪些应用方向？
有几件事可以考虑。我觉得 Gemini、Claude 这类日常使用的大语言模型，就像有引力的井，人们会自动去找它们，什么事都默认先问它们。所以你做一个应用、一个设计或一个工具时，得假设人们会先用已有的东西。他们会先去问 Claude 或 ChatGPT。你必须好得多，才能摆脱语言模型的引力井，不被吸回去。
怎么判断好得多？有没有什么简单的检验方法？
大家会不会说“哇”？说实话，如果大家都不觉得“哇”，那它就撑不久。
我见过太多产品，确实是更好一点，但人是习惯性动物。除非它真的好到让我觉得这是一个完全不同的类别……
过去有个经验法则：如果人们会主动、不用提醒就把产品告诉别人，那也算一个信号。但这确实更偏定性。
这有帮助。还有一点我觉得很有意思：我认为我们正在进入这样一个时代，人们会默认求助自己的智能体。那么价值不只是“你有没有打开我的应用或网页”，而是“你的智能体会不会调用我的 MCP 或类似接口”。
这个指标不错。
它有没有提供有用的东西？对某些人来说，这会成为衡量使用情况的一种有意思的指标：用户向自己的智能体提问时，智能体会不会认为应该来查询我们，因为我们才有正确答案？
很棒，这种想法很有启发。我再问最后一个问题，然后就进入这门课的固定提问环节。你们刚起步时遇到一个经典难题：是做一个几乎什么都能模拟的横向平台，还是专注于单一用例？就像你说的，测试营销也是一个用例。你能带我们回顾一下当时怎么做决定吗？这对很多创始人选择从哪里起步都很有参考。
这件事没有什么秘诀，我说的可能和很多人的建议差不多：一个什么都能做的东西，也可能同时什么都做不好。你得先找到真正受欢迎、能站住脚的用例，然后再从那里扩展。
刚开始和人们交流时，大家都说：“哦，这就是用来测试营销文案、做市场调研的。”我当时心里其实希望他们说错了。那当然很重要，但不是让我每天早上起床投入工作的方向。我们更感兴趣的是社会模拟，模拟一些真正棘手的……
创业方向、HCI 与走过的弯路
……像健康、公共政策这类领域的反事实问题。但人们不知道该从哪里开始。如果你跟他们说“随便问什么”，他们就会愣住，完全卡住。不过，如果有人已经知道自己想问什么，他们就知道如何把原先在做的事情先放一边，或者把这个工具加进现有流程，然后说：“哦，我懂了。”接着他们就能继续探索新的用途。
所以我们一开始会引导用户去尝试那些我们知道效果不错、也很常见、大家经常会问的用例。我们不只要把他们带到合适的问题上，也要让他们有信心：这个问题适合在这里问。之后一旦做过，他们就会想：“哦，这个我也能试试。”于是开始拓展。
太棒了。我要开始问课程里的固定问题了。如果大家也有问题，可以开始排队。Michael，如果你今天只有 20 岁、正要创业……
我才 20 岁啊，你在说什么？
听起来你已经第 23 次过 20 岁生日了。
两次。
好吧。假设你第一次 20 岁。如果你现在 20 岁，接下来五年会花时间学什么或做什么？
我在这里教课，所以感觉得说人机交互（HCI）。如果你认同“AI 还处在 MySpace 阶段”这个判断，最大的缺口就是：我们究竟需要解决什么问题？我觉得以人为本的设计，能教我们去发现这些机会。
这和所谓的“巴斯德象限”有关：解决真实世界的问题，同时研究成果能广泛应用。巴斯德著名的发明是什么来着？
巴斯德的……
疫苗，对吧？因为他面前就有一个具体问题。他做基础研究，同时瞄准一个就在眼前的问题。我觉得 HCI 就喜欢待在这个位置：什么是真实的人类需求？哪里有真实的技术机会？这是我喜欢做的事，Simile 也正是从这种思路里发展出来的。我们看到社交媒体上的问题，想预测什么会出错，或者理解政策的影响。我认为，训练自己把需求和技术机会连接起来，这就是 HCI 的价值。
所以我会去学自己正在教的东西。答案挺简单。
你犯过的最好的错误是什么？
不小心申请了博士项目。
我本科时在斯坦福读书，本科导师建议我……我想申请博士，但不确定经验够不够。他说：“那你先申请硕士项目吧。”我就照做了。结果 MIT 的申请表有个下拉菜单，问你申请 SM 还是 PhD。MIT 把 MS 写成拉丁语的 SM。后来发现，他们其实不管那个下拉菜单，所以我在毫不知情的情况下申请了博士。然后我被录取了。我当时想：“哦，那我就读吧。”所以这是我犯过最好的错误，它把我带上了现在这条路。
我知道后面还有很多同学排队提问，所以最后再问一个固定问题，然后交给学生：你坚持不愿妥协的是什么？为此付出了什么代价？
我觉得在整个职业生涯里，甚至创立 Simile 之后，确实一直有一种诱惑，让人被那些技术上容易定义的事情带着走。比如，你是不是在某个自己关心的基准上把分数刷到最高？我们能不能解数学证明？
我职业生涯早期，很多人一遍遍跟我说：“哦，你做的这个不算计算机科学。”我觉得人们会对什么问题重要这件事戴上狭窄的眼罩……
长尾行为与建立信任
……我觉得只要摘下那些眼罩，同时保留真正解决问题所需的技术深度，这就是我始终没有妥协的地方。我读本科时，别人告诉我做的事不算计算机科学，现在我却成了计算机科学教授，这在我看来很不可思议。但别在这件事上妥协。
说得好。
非常感谢你的分享。我叫 James，我和同学 Michael 正在做群体行为模拟，有个问题想请教：你们如何确保数据能准确模拟那些唱反调、异常甚至病态的人类行为？这些行为有时会导致黑天鹅事件。
也就是说，怎么把这些长尾事件纳入模型。大多数语言模型的后训练流程，无论现实社会中的分布是什么样，都会把模型推向对平均情况非常确信的状态。对于模拟引擎来说，这恰恰不是我们想要的结果。不过，也没有什么规定说模型必须这么做。
关键是要有训练数据——也就是我刚才说的那种“暗物质”——让模型学到真实的人群分布。它应该知道有些离群者，比如网络喷子，或者观点特别不同寻常的人。举个例子：Simile 刚起步时，我们和一家高端时尚公司的数据科学负责人聊过。他们不关心普通人是什么样，他们说：“不，给我看看分布尾部。”他们对大多数人的想法不感兴趣，他们想知道人们有哪些不寻常的行为，因为灵感往往就来自那些地方。
所以如果你想让模拟有用，就必须关注这一点。关注平均值很容易，但在某种意义上，真正重要的是方差。
谢谢，我们来下一个问题。大家聊天声音尽量小一点，我们在台上都听得见。如果要离开，也请尽量安静些。谢谢大家，下一位。
我想回到你刚才谈信任的部分。建立信任对你们来说是个很大的挑战。比如只给我看几盏指示灯，或给我看一个和我准备推出的产品无关的验证案例，我个人很难因此相信模型真的能帮我规划营销活动，让我放心往里投两百万之类的。你们通常会看到客户要求什么保证？你们又能提供什么，帮助客户理解模型能做什么、不能做什么？比如，你们能不能算出训练数据覆盖了哪些人群，或者客户关心的人群里有多大比例得到覆盖？
我们当然会计算训练数据的覆盖情况，也有各种相关信息。但正如我说的，不管我展示什么，真正建立信任的还是你自己上手使用的体验。很多公司拿到工具后，第一件事就是问一些他们知道答案、我们却不知道的问题。他们可能过去一年做过一些研究，就想看看我们的系统表现如何。
有好几位用户都跟我说：“我亲自上手之前并不信任你们的系统。后来我问了一个我们做过的内部研究问题，它居然答得非常准。”这时信任就会大幅提升。之后，如果我们要讨论系统的边界，双方也有了更多信任基础。
很多人其实都能接受，只要你说清楚哪些问题适合拿来问系统，哪些要亮黄灯、红灯。他们愿意让我们明确表达判断，只要边界说得清楚，他们也知道该在什么情况下使用、什么情况下不该用。你只要把自己的判断说清楚。
谢谢。因为排队的问题太多，我们得继续下一位。谢谢你。
你好，谢谢 Bernstein 教授。我叫 Michael，正和朋友 James 一起做群体行为模拟。我们尤其想问临界点的问题，因为临界点对群体行为的影响特别大。你怎么看通过外生冲击来探测一个模拟群体，从而预测、预防，或者至少预警可能出现的临界点？
群体临界点与长期模拟
外生冲击和临界点稍有不同。不过我理解你的问题是：一个产品什么时候会从“有些人在用”变成“现在大家都觉得其他人也会用”？我认为这需要做纵向模拟，也就是把时间维度纳入其中。
要记住，世界不是预先写好的。我们并没有造出一颗水晶球，能准确说出接下来一定会发生什么。我们应该提供的是一个可能结果的范围：这件事发生的可能性有多大？哪些因素会加速，哪些因素会减缓？如果人们能和模拟互动、反复尝试，就能逐渐建立直觉，理解到底是什么在推动变化。
临界点这类行为属于集体行动问题。已经有一些明确的闭式模型能预测这种现象。但我们想做的是，让模型通过学习其他各种人类行为，最终自然呈现这些结果。Joon 早期做研究时就发现，模型可以重现网络链接结构，也能重现社会影响研究里歌曲走红的过程。这些都是可以用来测试模拟的现象：即使你没有人为地推一把说“它应该这样发展”，也应该能检验模型是否重现得出来。
我们论文里有件事曾经走红：智能体办了一场情人节派对。我们只在一个智能体的记忆里放了一句话：“嘿，你有兴趣筹办一场派对。”之后消息怎么传开、一个智能体怎么约另一个出去，这些都是涌现出来的，这正是重点。我们没有人为推动结果。
谢谢。
我们再来最后一个问题。也请大家尽量别说话，台上都能听见。
你可以说话，就你可以。
你好，我叫 Beckett。关于你说的第四层模拟，也就是动态世界，我想知道你们会怎么处理？我猜一些小误差会随着时间累积。另外，你们考虑模拟动态世界的时间尺度大概有多长？
我们当然想尽可能有雄心，但归根结底还是信任。谈到涌现式的多智能体模拟，问题是：你怎么验证它？现实世界只会沿着一条路径展开。也许你的预测不同，但你未必错了，因为另一种结果可能同样有可能发生。
有不同的方法来建立信任。一种是让每个个体都足够准确，这样误差不会像传话游戏那样层层传下去。另一种是从复杂系统的角度，把结果看作相变。模型里可能有误差，但这些误差大到足以改变相态吗？会让固体变成气体吗？
嗯，有意思。
谢谢，太精彩了。
谢谢大家。
谢谢各位今天认真聆听，也谢谢 Michael 分享这么多见解。下周再见，我们会聊数学与 AI。