AIInfra作为人工智能发展的基石，正随着大模型的崛起而备受瞩目。本文深入探讨AIInfra的内涵、发展历程、技术要求以及未来趋势，通过与行业专家的对话，为我们揭示了这一领域的机遇与挑战，帮助读者全面了解AIInfra的核心价值与发展方向，一起来看。

本文嘉宾朱亦博可以说是国内最了解AIInfra的人之一，从微软、字节AIInfra负责人到谷歌、再到阶跃联创，他的职业经历几乎和AIInfra的发展并行。

本期播客对谈原文约19000字，本文经过删减整理后约7000字。

曲凯：从你的视角来看，怎么理解AIInfra？

亦博：AIInfra包括硬件和软件两部分。

硬件是指AI芯片、GPU、交换机等设备。软件层面我喜欢用云计算来类比，可以分为三层：

最底层类似IaaS，解决的是最基础的计算、通信和存储问题。

中间一层类似PaaS，包含资源调度、资源管理等平台。MaaS（Model-as-a-Service）就归属这一层。

最上层近似SaaS应用层，但在AIInfra领域，我更倾向于把这一层理解为训练及推理框架的优化层。

曲凯：可以说你的职业生涯跟AIInfra的发展基本是同步的吗？

亦博：是，但我其实是第二批AIInfra人，第一批是贾扬清、李沐、陈天奇这些有算法背景的人。他们当时要做先进的算法，需要充分利用GPU，于是就做了AIInfra。

曲凯：所以是第一批人从无到有把这件事做了出来？

亦博：可以这么理解。我们这第二批人干的更多是上规模的事情，让AIInfra在工业界得到应用。

曲凯：那大模型这两年的兴起，对Infra从业者来说应该是一个特别好的机会吧？因为AIInfra一下子进入了主舞台。

亦博：确实如此，这也是为什么我觉得一定要出来创业。

过去Infra人才很难参与到一个公司的初创过程中，因为Infra服务于上层应用和数据处理，只有当业务规模足够大时，对Infra的需求才会凸显。

但是大模型确实带来了一个非常好的机会。

上一次类似的节点，是搜索引擎刚刚兴起的时候。比如Google当年面对的是规模空前的互联网数据，而要处理这些数据，它就需要世界一流的Infra。所以从某种程度上讲，Google本质是一家Infra公司，它的成功从一开始就离不开它强大的Infra。

而如今，大模型一上来就对算力和数据提出了前所未有的要求，所以我认为现在是Infra从业者真正进入核心舞台的少有机会。这样的窗口，可能十年、二十年才会出现一次。

曲凯：那移动互联网的Infra和AIInfra有哪些异同？

亦博：它们的底层目标是一致的，就是要高效稳定地整合计算、通信和存储资源。

但在实操层面，它们对硬件、网络互联、存储方式的要求都完全不同。比如，AIInfra的绝对核心是GPU，而传统Infra的核心是CPU。

在Infra的世界里，太阳底下没有太多的新鲜事，但AIInfra在很多方面要做到更极致、更贴合AI的特殊需求。

曲凯：那在这样的背景下，未来做AIInfra的人，更多会是新一批成长起来的工程师，还是由传统Infra人转型而来的？

亦博：我觉得都会有。这方面Infra和算法很不一样。

算法非常依赖年轻人。甚至我有做算法的朋友说过，算法人只有两年的保质期，两年后Ta把自己的聪明才智发挥完了，就会陷入思维定势，反而跟不上后面的新东西了。

但Infra相对来说更强调积累。

曲凯：那你们关注的核心指标有哪些？

亦博：比如在线上服务侧，我们会看模型响应的首字延迟、后面吐字是不是稳定顺畅、整体的成本能不能降低等等。在训练侧，我们主要看每张GPU能处理的数据量和训练效率。

曲凯：听起来是不是只有规模很大的公司才需要用到AIInfra？

亦博：其实所有的产品都依赖Infra，区别在于你要不要投入成本去做自己的Infra，以及这种投入对你的业务来说值不值得。

这笔账其实很好算。

假设你有1万张GPU，每月租金1个亿。如果你雇了一批Infra工程师，能把GPU利用率提升10%，那你每月就能节省1000万，或者说多赚1000万。

那你愿意为了这1000万投入多少人力成本？

无论是在前司还是现司，我们优化Infra之后省下的钱，都可以很轻松地cover这部分的人力成本。从这个角度来说，投入Infra是可以帮公司挣钱的，而且这件事的确定性很高。

对于一些较小的公司来说，也可以用同样的逻辑进行计算：你值不值得雇10个人来优化百分之多少的性能？

你可以对比一下，要做到同样的优化效果，云厂商的标准化方案需要多少钱。如果你自己做不到更低的成本，那就说明用MaaS或公有云服务更划算。

这也是现在这些服务商的价值锚点：帮助规模较小的公司节省Infra优化的成本。

曲凯：那按理说，Infra这件事应该是云厂商和模型方做到极致了才对，为什么还有一些第三方公司在做？

亦博：短期来看，第三方的价值，是为客户提供一个「API集贸市场」，让他们自由选择不同的API，因为模型厂商的Infra主要服务于自家的模型或API。虽然有些公有云也在提供类似的服务，但还是有第三方的空间。

不过长远来看，如果第三方公司没有独特的价值，确实很容易被云厂商或模型公司吃掉。

那突破口在哪里？我是这么思考的：

AIInfra的底层是硬件，上层是模型。当硬件和模型都逐渐趋于开放和普及时，只做中间那一层Infra的价值确实会很有限，而且会非常卷。因为说白了，没人能在Infra这一层拉开特别大的技术差距，也很难形成长期壁垒。你今天领先一点，几个月后可能就被赶上了。

所以我认为，第三方想做出壁垒，就得和硬件或者模型去做垂直整合。

以MaaS的生意为例。MaaS可以看作是一个API的分发平台，除了标准API之外，真正能留住用户的，是那些别人没有的东西。

就像你为什么要买PS5？是因为这个游戏机上有一些独占的游戏。

同理，有的MaaS服务商与特定的硬件厂商有深度合作，能以更低成本获得算力资源，同时它还有对硬件的独到见解，那这些就是它的差异化优势。

所以这里可以给从业者一个建议，就是不要做夹在模型和硬件中间的那个人。

我现在选择站在模型这一侧，你也可以选择站在硬件那一端。

这是因为AIInfra有个非常独特的背景，就是当前是硬件和模型都在追求极致的时刻。如果有人想做出像DeepSeek那样在硬件上跑得非常有效率和性价比的模型，就需要既懂硬件又懂模型。而这种「两头通」的能力，恰恰是Infra人的特长。

所以，如果你愿意迈出这一步，往上和模型做深度整合，或往下与硬件做co-design，就有很多机会。但如果你固步自封，只在中间做优化，那确实就把路走窄了。

曲凯：但和模型或者硬件绑定之后，万一最后发现选错了怎么办？

亦博：所以关键在于你必须是主动的参与者，而不是被动搭便车的人。

如果你比硬件厂商更懂模型，那你就可以影响硬件的设计方向。如果你比模型团队更懂硬件，也可以反向影响模型架构的设计。

当你具备了这种影响力，成功了当然是共赢，即使失败，那也是你主动做出的判断和选择。

曲凯：明白。

我们前面讲的主要是Infra降本增效的事情，那实际上它对模型最终的训练效果到底有多大的影响？该怎么评判？

亦博：Infra水平确实会影响模型的效果，这也是为什么Infra对大模型公司而言非常重要。

其实各家公司都在参与同一场比赛，就是「给定算力，怎么训出最好的模型」。

假设大家都拿5000张卡，在其他条件相同的前提下，如果我的Infra优化得更好，效率高出20%，那在同样的时间里，我就能多学20%的数据，训练出的模型自然也会有更好的效果。

曲凯：所以Infra是有标准化的性能指标的？

亦博：对，比如MFU就是一个比较常见的指标。它衡量的是硬件利用率，分子是实际完成的浮点运算次数，分母是理论最大算力，MFU越高，说明硬件被用得越充分。

曲凯：我记得当时DeepSeek公开了他们的MFU？

亦博：实际上DeepSeek的MFU是偏低的，但你也不能说他们的Infra做得不好。

衡量Infra的性能其实很复杂，仅靠单一指标很难判断Infra的优劣。Infra的性能和硬件、模型，还有优化目标都密切相关。

其实DeepSeek之所以能冲出来，一大原因是选对了优化目标。

当时DeepSeek的优化目标和其他所有人都不一样。比如我们当时的优化目标是「给定训练算力，怎么训出最好的模型」，而DeepSeek的目标是「给定推理的成本，怎么训出最好的模型」。

至少在24年上半年时，DeepSeek的基模并不比大家强。

那这个局面什么时候扭转了呢？

就是在24年9月o1发布之后。

o1让大家看到，如果在推理阶段让模型多思考一会，模型最终输出的效果会更好。这种训练方式，正是强化学习的典型机制。而因为DeepSeek的优化目标更符合强化学习的需求，所以他们能以更低的推理成本、更快的速度去输出结果和训练模型。于是他们率先完成了R1，一下子甩开了其他团队。

你可以说DeepSeek的成功有一些运气因素。他们最初在设定优化目标时，大概率也没料到Test-TimeScaling会在24年下半年变成关键趋势。但很多事情的成功，靠的就是天时地利人和。

所以说回来，Infra确实有各种性能指标，但如果想取得好的结果，最重要的是你要想清楚，哪一个指标的优先级最高。这个指标不仅要符合你的产品需求，也要顺应整个行业的发展方向和未来技术趋势。

不同团队的技术水平固然有高低之分，但真正拉开差距的，往往是有没有选对努力方向。

曲凯：所以当下有比较通用的第一指标吗？

亦博：这件事还有很多非共识。

其实从o1、R1验证了强化学习的路径之后，我认为当前最重要的指标就是decoding的速度。

推理分为输入和输出两部分。输入的关键指标是模型处理长文本的速度，输出的关键指标则是模型吐字的速度。我认为现在最重要的指标是后者。它决定了线上业务的成本，也直接决定了强化学习的效率。因为如果你输出很慢，那你获得reward的速度就比其他模型要慢。

但现在还有人很看重MFU之类的老指标。在我看来，还特别关注这类指标的人，对当下技术的认知是有问题的。

曲凯：你前面有提到，Infra人是既懂硬件又懂模型的人，那算法人是什么样的？二者该怎么合作？

亦博：最理想也最简单的合作方式，就是大家像一个团队一样，为共同目标协作。

很多事情都有trade-off，比如有时损伤系统性能，但能换来算法上的提升，有时候则是反过来。遇到这些情况，最好是两边能一起讨论该谁来让步。

不过这是小团队的优势。在很多大厂里，很难实现这一点。

在大厂，Infra总被视为支持性的角色。很多时候是算法人给Infra人提需求，但是Infra人没有反向的影响力。

曲凯：对，而且在很多人眼里，Infra的核心就是「降本」，但「降本」通常不是一个最优先的目标。

亦博：这正是我认为需要被纠正的观念。前面提到过，Infra实际上是可以对模型效果有正向影响的，而不仅仅是只能降本。

曲凯：听起来就是要Infra人发挥主观能动性？

亦博：还不够。比如你带一个Infra团队，另一个人带算法团队，大家向同一个leader汇报，但这个leader只懂算法，那你猜会发生什么？

所以很多问题到最后都是组织架构的问题。

模型其实由算法、Infra和数据这个铁三角决定。三者缺一不可，必须协同。

但很多人对模型的理解存在偏差。比如，一个模型的算法效果往往取决于数据，而不是算法；一个模型的效率成本主要由Infra决定，也不是算法。

所以实际上比较合理的组织架构是，让Infra人去设计模型结构，因为Infra人最知道该怎么提高效率、节省成本，让数据的人去负责刷模型的点数和benchmark分数，因为他们最懂怎么喂模型，而算法人应该主要负责训练的范式革新。

曲凯：听起来很合理啊，现在很多团队不是这样的吗？

亦博：不是。现在在很多团队中，基本都是算法人在设计模型结构、刷模型点数。但实际上算法人不一定最适合做这些事。

曲凯：所以阶跃从一开始就在用最正确的方法吗？还是也踩过一些坑？

亦博：当然也踩过坑哈哈。比如我们一开始对自己的算力和能力都过于自信，所以干了一个比Llama还大的模型。虽然我们把它训出来了，但是这个巨大的模型有一些问题，过程中我们也犯了一些错误。

但我觉得这也没什么。你赌的所有事情就是可能会错，踩过坑之后再爬起来往前走呗。这一局输了，那下一局我再干回来。

曲凯：还有什么业内真实的踩坑案例吗？

亦博：比如最近有家公司开源了一个模型，声称自己虽然参数量不大，但因为算法做得好，所以效果可以越级媲美更大的模型。

但这个模型因为架构设计的问题，实际运行效率非常低，甚至还不如那些大模型快。

这背后反映的问题是，其实很多做算法的人并不真正懂硬件，也不了解模型在Infra层是怎么运行的。

算法人员做模型架构研究的时候，可能会画一张图，横轴是模型的尺寸或激活量，纵轴是某些算法效果指标。然后他们会试图在这张图上找到一个sweetpoint，能让模型在尺寸不大的情况下，算法效果还不错，然后就丢给Infra人去做优化了。

即便Infra人能满足算法人的需求，模型实际运行起来也会出问题。

如果真要画图，横轴应该是模型的实际运行成本或运行效率，纵轴是模型效果。你得跑大量实验，才能在这张图上画出各种点，然后在其中找到那个真正可落地的最优点。

而这件事情只有在拉通所有团队之后，才有可能完成。

曲凯：是。模型这边上一个AhaMoment仍然是年初的DeepSeek。虽然最近一直有传言说GPT-5要发布了，但到底什么时候发、表现怎么样，还没人说得准。而且很多人一直在说scalinglaw撞墙了、数据不够了等问题。

那你怎么看未来模型的发展？

亦博：模型范式的革新不会那么快，但多模态还是有一些突破的可能性的，尤其是多模态生成和理解的统一。

现在多模态的状态，其实挺像20年的bert模型，就是具备了理解能力，但还没有真正做通理解和生成。

做通的标志，是同一个模型在理解任务上能超越专门做理解的模型，在生成任务上也能击败专门做生成的模型。就像GPT-3.5出来之后，直接让很多做翻译之类的专用模型退休了一样。

曲凯：GoogleVeo3的效果看起来已经很不错了。

亦博：但Veo3还是偏上一代的模型，核心是做生成。只不过它的工程做得比较好，把配乐之类的各种功能都很好地融合了起来。

其实技术突破和产品效果并不是线性相关的。Veo3确实把上一代的技术发挥到了非常强的水平，但它本身并没有带来太多范式上的创新。

曲凯：明白。那你觉得对于初创或者第三方的AIInfra公司来讲，机会在哪？

亦博：我个人觉得训练侧的商业模式不太成立。因为现在训模型的人都非常懂行，所以你很难挣到这些人的钱。而且他们也不太愿意把训练过程中的研发细节交给第三方，否则就泄露了自己的核心竞争力。

排除训练之后，推理侧还是有一些机会的，比如推理加速、推理优化。

曲凯：那开源模型对AIInfra市场来讲会有什么影响吗？

亦博：整体而言，开源模型对AIInfra的发展是有促进作用的。因为一个开源模型火起来，大家就会去研究怎么把它跑得更好，这个过程其实就促进了AIInfra的进步。

但所有事情都有两面性。如果某个开源模型太火，然后大家都花很多精力去优化它，可能反而会影响创新。比如DeepSeek出来之前，很多人都在优化Llama，结果DeepSeek的新范式一出，之前大家在Llama上的很多积累就废掉了。

这里我还想再补充一点。现在的Infra基本都是围绕英伟达卡来做优化的，虽然也有团队尝试用国产芯片替代英伟达，但很多时候国产卡不是跑不动，而是性价比不如英伟达。

举个例子，当DeepSeek这样非常好用的开源模型出现之后，一些做一体机的公司会发现，他们用英伟达卡跑DeepSeek就是比用国产卡更有性价比，所以他们就更愿意选择英伟达的卡。

但我们非常希望国产卡在技术层面也能具备竞争力。比如，是不是可以根据国产卡的特性去专门设计模型结构，让它在国产卡上也能高效运行，并达到SOTA水平？

我们最近开源的Step3，就是在这个方向上的一次实践。Step3是国内首个支持第三方商用的、数百B规模的视觉推理模型，并且能跑出SOTA水平。

曲凯：怎么理解视觉推理？

亦博：视觉推理就是模型可以根据图片、视频抽帧等视觉信息，直接完成推理任务。

比如，你让机器人去柜子里拿一个东西，但那个目标物品被杂物遮挡住了。这时机器人要完成这个任务，就要进行视觉推理，来进行任务的拆解和决策。

对于机器人或者手机、汽车等智能设备来说，它们天然就有视觉这个模态。那么根据周边的环境、看到的东西去决定怎么完成复杂任务的过程，就是典型的视觉推理模型做的事情。

视觉推理模型还有一个更常见的应用场景，就是拍照解题。

曲凯：这件事之前也有一些模型可以做到，它们应该就是把图片转成文字，再去做文字推理。

亦博：但我认为这种方式不是真正的视觉推理。我们现在不需要中间那段转文字的过程，而是让模型好似真的能看懂图片，然后直接看图推理。

还是举刚才那个让机器人拿东西的例子。如果你要拿的那个目标物品周围有很多遮挡，你其实很难用文字把它们在物理世界中的位置关系描述清楚，也会丢掉很多信息。

但如果模型直接看图，就能很直观地知道应该先把这个东西拿开，再把那个东西拿开，最后拿到目标物品。

曲凯：明白。那你们为什么选择开源？

亦博：我们希望做到全国上下产业都获益。

我们决定给所有国产芯片一份免费商用的授权，开放模型权重，并且尽量帮他们做好模型适配。同时我们也把Step3在国产卡上的推理成本压到了一个很低的水平，提高了国产卡在性价比上的竞争力。

通过开源，我们希望能够帮助国产芯片构建商业竞争力，也希望他们能推广我们的模型，最后实现共赢。

曲凯：我突然想到一个问题，就是多模态模型的成本未来到底会以什么速度下降到什么程度？因为现在多模态还是太贵了。

亦博：多模态理解现在已经不算贵了，不过生成还是挺贵的，尤其是视频生成。

但我对成本降低还是蛮乐观的。我觉得一年后，应该能下降很多，能不能到十分之一不好说，但几分之一没问题。

曲凯：你觉得现在做Infra的人在很多公司里，是不是还是容易被低估?

亦博：在大模型时代，这种情况已经好很多了。现在Infra已经是模型能力的核心组成部分之一。

之前也有人说过，DeepSeek做得好就是因为梁文锋是Infra人。

曲凯：这怎么讲？

亦博：因为梁文锋是做量化出身的，而量化很强调低延迟，所以他需要对Infra有研究。在算法、数据和Infra之间，他可能最擅长的就是Infra。这在业界也算是共识。

而且据我所知，DeepSeek的Infra工程师数量比算法工程师要多。

但在很多大公司里，这个情况是反过来的。这可能也是在过去一段时间里，一些大厂比较挣扎的原因之一。

其实在大模型快速发展的阶段，就是需要有大量的Infra人，来把硬件设计和模型优化做到极致，并且做好垂直整合。但在大厂里，他们的人才结构是错配的，不符合做好AI的本质需求。

曲凯：明白。最后，你会给正在做或者想转行做AIInfra的人什么建议？

亦博：前面有提到过，我的建议就是靠近模型，或者靠近硬件。

另外，希望你还是打心底对Infra感兴趣，有足够的主观能动性去做各种各样的co-design。

最后我想再补充一点。我最喜欢的一篇文章就是RichardSutton的《TheBitterLesson》。文中的核心观点是，从长期来看，胜出的永远是那些能最大程度利用计算资源的方法。短期内各种奇技淫巧可能有效，但都不能本质地解决问题。

虽然这篇文章是从算法视角写的，但对Infra人也同样有很重大的指导意义。因为我们最根本的任务，就是设计出能发挥硬件全部性能的模型和系统软件，让模型能充分利用这些资源。

当然，我最希望的是也许有朝一日，我们还能反过来影响硬件，换取摩尔定律的不断延续。42章经思考事物本质

耐克中国，请来NBA巨星詹姆斯“救市”？　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！　　　　文丨《BUG》栏目周文猛　　时隔6年，NBA现役得分第一人勒布朗·詹姆斯（下称“詹姆斯”），又一次开启了自己的“中国行”活动