GPU 买了那么多，跑起来却像「堵车」？

剪辑｜郑玄

最近两年，AI 行业最热的词一直绕不开「算力」。

从大模子查验，到本年 Agent 的火热，再到各家云厂商阻抑扩建智算中心，行业参谋最多的，险些都是 GPU、芯片和算力范畴。好像只须卡够多，AI 就能链接往前跑。

但实验并不是。

不少作念大模子查验和推理的东说念主，仍是越来越显着地感受到另一层问题：机器越来越贵，GPU 越来越强，但模子查验和推理的后果，却莫得同步升迁。

问题不一定出在算力自己，而可能出在另一件永久被淡薄的事情上——网力。

平头哥居品总监李旭慧打了个比喻：「若是把算力比作 AI 期间的石油，网力即是输油管说念。算力提供能源，网力保险后果。」

4 月 28 日，在数字中国成就峰会上，平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡，最大因循 400Gbps 糊涂带宽，可应用于万卡智算集群、通算集群和高性能存储等场景，目下仍是量产，并将率先部署在阿里云数据中心。

磐脉 920 想要搞定的即是「网力」问题。

今天的大模子查验，一个查验任务，每每需要几千以致上万张 GPU 同期和谐。单张 GPU 性能再强，也必须跟总计这个词集群保捏同步。

问题在于，只须其中一部分节点慢下来，其他节点就只可恭候。他不雅察到，目下行业里许多万卡级智算集群，GPU 实质应用率较低，「能作念到 60%，仍是算行业顶尖水平。」

昔日行业更容易关爱「有几许卡」，但实质在 AI 查验场景中，系统运行后果并不是由最强的硬件决定，而是受限于集群里最慢的阿谁节点。「卓越节点的算力会捏续闲置恭候，形成大范畴算力阔绰。」

磐脉 920 的发布实质上也指明了一个标的：当 GPU 仍是阔绰强之后，下一步到底该补那儿。

一张网卡，周转总计这个词智算集群

当 AI 智能体运行进入果然业务场景，推理业务的占比越来越高。

「在 Agent 应用爆发的布景下，推理业务的增长速率显贵快于查验。」李旭慧示意。

大模子查验强调强同步，而推理靠近的是大批突发、小包、高频苦求，对低时延和自若性的要求更高，这也意味着对「网力」的要求更高。

而空洞一下磐脉 920 在作念的事，即是尽量减少整系统里的「堵」和「等」，通过网力的升迁来开释 AI 算力。

其背后的杀青旨趣，有三个要津。

当先是因循多旅途 RDMA，冲破单一皆径的局限。

庸碌清爽，即是正本只可走一条高速，当今变成多条路同期分流。更要津的是，这些数据天然分开走，但最终还能按律例准确拼追想。

李旭慧讲明，磐脉 920 通过因循逐包喷洒、乱序继承和聘用性重传，杀青 RDMA 多旅途。

从收尾来看，这套有盘算推算带来的改善相比奏凯。

按照官方实测，磐脉 920 因循单 QP 打满 400G 带宽，而同类主流居品带宽好像只须其一半。同期，多旅途才气不错把交换机端口缓冲区水线诽谤 90%，减少丢包和重传。

第二个要津想象，是把「绕路」变成「直连」。

磐脉 920 最大的亮点之一，是内置 PCIe Switch。这亦然国内首个作念到这少量的 400G 智能网卡。

传统处事器架构里，德州app(中国)网下载PCIe Switch 正常部署在主板上，数据需要绕多个节点转发。收尾即是，有的旅途长，有的旅途短，时延不一致。

关于需要高度同步的 AI 查验任务来说，这种「不整皆」会奏凯影响后果。

李旭慧打了个比喻：传统架构里，每每会出现「四个下行通说念挤一个上行通说念」的情况。

这很像四条岔路同期汇入一条骨干说念，堵塞险些不行幸免。

磐脉 920 把 PCIe Switch 奏凯集成进芯片里面，让网卡与 CPU、GPU 形成更奏凯的畅达估计。

少绕路，意味着更低时延；旅途更融合，则意味着更自若的同步后果。

字据平头哥实测，在酌量集群范畴和任务条目下，部署磐脉 920 后，大模子查验和推理任务完成期间可裁汰 14%。

第三个要津，是让收集具备我方判断的才气。

传统网卡更多像搬运工。收到数据，搬昔日，仅此费力。

据了解，磐脉 920 加入了细粒度收集感知和可编程拥塞截止才气。直白讲，即是它能主动避堵。让收集运行从被迫传输，变成主动篡改。

关于越来越复杂的 AI 集群来说，这种才气的要紧性会越来越显着。

从这些想象能看出来，磐脉 920 并不是在追求参数上的浅显升迁，它作念的事情很求实，让仍是很贵的算力，少阔绰少量，从而引发最大的潜能。

为何是阿里在界说 AI 基础步骤？

除了性能自己，磐脉 920 背后更值得关爱的，是平头哥和阿里的合座布局。

昔日几年，许多公司作念芯片，每每聚拢在单一智商，比如 GPU、AI 加快卡或者 CPU。

但平头哥的念念路是作念全栈。

目下，平头哥仍是形成四条居品线：真武系列 AI 芯片、倚天处事器 CPU、镇岳存储主控芯片，以及此次发布的磐脉系列智能网卡。

对应的，正巧是数据中心里的几个要津智商：算力、存力和网力。

李旭慧在采访中示意：「单一芯片居品无法搞定全链路问题，只须买通算力、存力、网力，才能最大化开释 AI 硬件性能。」

这亦然平头哥和许多单点芯片公司的辩认。它不是只作念一块性能更强的芯片，而是试图从总计这个词系统角度去看问题。

许多芯片公司作念居品，先作念出来，再去找客户和落地场景。

但平头哥不是。

李旭慧告诉极客公园，磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断，明天 AI 一定会激动数据中心收集才气升级。

「一线业务场景的实质需求，是芯霎时间迭代与居品优化的中枢驱能源。」先有阿里云的大范畴业务场景，再从实质场景需求里倒推居品界说。

这即是磐脉 920 的贸易旅途。据败露，和平头哥倚天、真武、镇岳系列芯片相同，它会先部署在阿里云数据中心。

从这个角度看，磐脉 920 的发布，自己即是阿里「通云哥」协同才气的一次体现。

通义崇拜模子，阿里云崇拜场景，平头哥崇拜底层硬件。模子需求激动云基础步骤升级，云场景又反向激动芯片演进。

这种全栈自研的闭环，在国内科技公司里并未几见。「通云哥」的格局天然前期过问大、周期长，但一朝走通，护城河也极深。

AI 竞争走到今天，比拼的仍是不是单点才气，而是这一整套系统能否顺畅运转。

跟着 AI 越来越多从查验走向推理，模子、云与芯片之间形成的捏续反应轮回，合座上风的显现可能才刚刚运行。

* 头图开首：平头哥

极客一问

你怎么看待「磐脉 920」？天天德州app中国网入口