美光：芯片存储注定长期短缺 AI数据中心的记忆体有五大层级

格隆汇5月7日｜美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner直言，这一轮记忆体行业的繁荣与以往的周期性波动有本质区别。记忆体不足会让GPU的算力利用率急剧下降。推动KV缓存需求膨胀的因素有三个：上下文视窗越来越长、模型参数量越来越大、用户越来越多。“目前上下文长度正以每年30倍的速度增长”。

Werner表示，目前整个层级从上到下都处于供不应求的状态。记忆体行业的产能已经无法跟上需求，“我们没有在全球建造足够多的晶圆厂”。我们已经无法跟上需求了，其他所有人也一样——英特尔、英伟达、台积电都在说，我们已经满负荷了。晶圆厂不是说长就能长出来的。

市场看到云服务商(CSP)资本开支大幅增加，担心这是否可持续。Werner的判断是：“这些企业正在经历一场巨大的革命，其潜力仍然超出大多数人的想像。”AI的应用场景远未饱和。训练时代已经过去，推理时代刚刚开始，而智能体AI和物理AI甚至还没有真正大规模落地。我们只是刚刚触及AI将要带来的变革的表面。

Werner详细梳理了AI数据中心的记忆体层级结构，从最靠近GPU的高频宽记忆体(HBM)到最远端的海量SSD，构成一条完整的“存储链”：

第一层：HBM，紧贴GPU，典型容量在10至100GB之间，速度最快，但容量有限。

第二层：主记忆体(Main Memory)，连接至CPU，容量通常是HBM的4至20倍，但速度更慢、距离更远。

第三层：扩充记忆体(Expansion Memory)，通过光纤连接独立记忆体模组，目前尚未大规模量产部署，但已是业界关注的方向。

第四层：上下文记忆体存储(Context Memory Storage)，即用SSD来存储KV缓存。Werner指出，英伟达CEO黄仁勋今年已公开谈及这一方向。与HBM相比，SSD的延迟更高、频宽更低，但容量可达HBM的1000倍。

第五层：数据湖，数据中心底层的海量SSD存储，以EB(艾位元组)计。