商汤x记忆张量：国产算力逆袭A100的关键一战(第1/2页)

巴蜀魔幻侠提示您：看后求收藏（创读小说chuangdu.cc），接着再看更方便。

最近商汤大装置和记忆张量联手搞出了个大动静——落地了业界首个国产gpgpu

pd分离商用推理集群，最亮眼的成绩是：在大模型推理这个关键赛道上，综合推理性价比直接干到了同代nvidia

a100的150%。

这话乍一听有点抽象，说白了就是：用国产的芯片和软件，跑大模型推理业务，花同样的钱能跑出1.5倍的效果，或者说跑出同样的效果，只需要花三分之二的钱。更关键的是，这不是靠堆硬件、拼参数的“笨办法”，而是靠体系级的软硬件协同创新，给国产算力闯出了一条“弯道超车”的路子，不是跟在别人屁股后面模仿。

下面咱们用大白话把这件事的来龙去脉、核心门道和行业意义掰扯清楚，让大家明白这波操作到底牛在哪。

一、先搞懂：大模型推理为啥这么难？pd分离又是啥？

要理解这个合作的价值，得先明白大模型推理的核心痛点。咱们平时用chatgpt、文心一言这类大模型，看似只是发个指令等回复，背后的计算过程其实分两大步，这两步的需求天差地别，也是卡住很多算力的“瓶颈”。

第一步叫prefill（预处理）。当你输入一个问题，比如“帮我写一篇关于古蜀文明的短文”，大模型要先把这段文字转换成机器能看懂的向量，然后一次性计算出大量的中间结果，也就是kv缓存。这个过程的特点是计算量大、可以批量处理，就像工厂里的流水线批量生产零件，需要算力集中发力，但对延迟要求不高——稍微等个几十毫秒，用户根本感觉不到。

第二步叫decode（解码）。大模型拿到kv缓存后，要逐字逐句生成回复，也就是“逐token生成”。比如先出“古蜀文明”，再出“是中国西南地区一支极具特色的古代文明”，每生成一个词，都要用到前面的kv缓存。这个过程的特点是计算量小，但对延迟要求极高——要是生成一句话卡个一两秒，用户体验直接拉胯，而且这个过程没法批量，只能“串行干活”。

这两步本来是在同一批硬件上完成的，问题就出在这：prefill阶段需要“暴力计算”，会占满硬件的算力和显存；等轮到decode阶段，硬件又闲着大半，算力利用率直接暴跌。尤其是国产gpgpu，本身在显存容量、生态适配方面和国际顶尖产品有差距，这么一折腾，劣势更明显——跑同样的任务，成本高、速度慢，根本没法商业化。

那pd分离是啥？说白了就是“分工合作”——把prefill和decode这两个阶段，拆到不同的硬件集群上分别处理。负责prefill的集群专门干“批量重活”，把kv缓存算好；负责decode的集群专门干“精细快活”，用现成的kv缓存快速生成回复。这样一来，硬件不用在两种模式间来回切换，利用率能提一大截。

但这里要划重点：单纯的硬件pd分离，解决不了根本问题。很多厂商之前也试过，结果发现只是把“一个瓶颈”变成了“两个瓶颈”——prefill集群算完的kv缓存，要传到decode集群，传输过程会产生延迟；而且kv缓存本身占显存，就算分开处理，显存不够用的问题还是没解决，性价比提升非常有限。

二、核心突破：不是改硬件，是重构整个推理范式

商汤和记忆张量的聪明之处在于，他们没有局限在“硬件层面拆分工序”，而是把pd分离技术，和记忆张量的核心产品mes的激活记忆体系深度绑在了一起，相当于从“流水线分工”升级到了“全产业链协同”，直接重构了大模型推理的底层逻辑。

咱们来拆解这个“协同创新”的关键操作，其实就两件核心事，件件都戳中痛点：

本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！