英伟达推理上下文内存存储对NAND意味着什么??

  更新时间:2026-01-15 05:25   来源:牛马见闻

吉报头条
重要新闻
国内新闻
国际新闻
图片精选

每块GPU对应16TB ICMS专用NAND容量对应 ICMS 架构的 NAND 需届时 ICMS 带来的 NAND 需

<p id="488I6P9D">花旗?认为,英伟达在AI推理应用[中采用的上下文内存存储技术,预计将加剧NAND闪存市场的供应短缺。</p> <p id="488I6P9E">据追风交易台,花旗最新报告指出,英伟达推出的推理上下文内存存储(ICMS)架构将显著拉动NAND闪存需求,为存储芯片制造商带来结构性机遇,并可能进一步推升NAND价格。建议密切关注存储产业链供需格局变化,相关厂商有望持续受益于此轮需求增长。</p> <p id="488I6P9F">英伟达宣布其Vera Rubin平台将采用搭载BlueField-4芯片的ICMS架构,通过卸载KV Cache突破内存瓶颈、提升AI推理性能。该架构单台服务器需额外配置1152TB SSD NAND,报告预计2026年、2027年将分别带来占全球NAND需求总量2.8%、9.3%的新增需求。<strong>此举将进一步加剧全球NAND供应短缺,同时为三星电子、SK海力士、闪迪、铠侠、美光科技等头部NAND供应商创造显著市场机会。</strong></p> <p>ICMS:AI推理的存储瓶颈解决方案</p> <p id="488I6P9G">报告指出,<strong>大规模AI推理面临显著的内存瓶颈。</strong>Transformer模型的核心内存优化机制——KV Cache,通过存储已计算的键值对来避免重复运算,并根据性能与容量需求分层存储:活跃KV缓存存放于GPU HBM(G1),过渡/溢出KV缓存置于系统DRAM(G2),热KV缓存则分配至本地SSD(G3)。</p> <p id="488I6P9H"><strong>为针对性优化这一架构,英伟达推出了推理上下文内存存储(ICMS)方案。</strong>该方案并非替代现有存储层级,而是在本地SSD(G3)与企业共享存储(G4)之间新增一个G3.5层级的专用KV Cache。这一层级能够高效地将G4中的冷KV上下文数据转换为G2中的暖KV缓存,并与HBM协同工作,从而显著提升数据传输效率与整体AI推理性能。</p> <p id="488I6P9I">在硬件实现上,Vera Rubin平台采用16TB TLC SSD作为ICMS存储介质,结合KV缓存管理器与拓扑感知调度机制,目标实现三大性能突破:每秒处理令牌数最高提升5倍、能效比最高提升5倍以及更低的延迟。具体配置方面,每台服务器搭载72块GPU,每块GPU对应16TB ICMS专用NAND容量,使得单台服务器的总NAND需求达到1152TB。</p> <p id="488I6P9J">英伟达在AI推理中引入上下文内存存储技术,标志着AI算力架构的重要演进。与传统训练场景不同,推理过程依赖于大量的上下文数据存储与快速调用能力。这一技术路径的转变,<strong>为NAND闪存开辟了全新的应用场景,有望成为继数据中心和智能手机之后的重要需求增长点。</strong></p> <p>NAND需求增量明确,供应短缺持续深化</p> <p id="488I6P9K">花旗通过场景分析测算后认为<strong>,ICMS 架构的规模化落地将为全球 NAND 市场带来显著且确定的需求增量。</strong>报告预计,2026 年 Vera Rubin 服务器出货量将达到 3 万台,对应 ICMS 架构的 NAND 需求将达 3460 万 TB(折合 346 亿 8Gb 当量),这一需求规模占当年全球 NAND 总需求的 2.8%;<strong>随着 AI 推理需求的进一步释放,</strong>2027 年 Vera Rubin 服务器出货量有望增至 10 万台,届时 ICMS 带来的 NAND 需求将飙升至 1152 万 TB(折合 1152 亿 8Gb 当量),占全球 NAND 总需求的比例将提升至 9.3%。</p> <p id="488I6P9L">报告同时指出,当前全球 NAND 市场本就处于供应紧张的状态,近年来 AI 产业的爆发式发展已推动数据存储需求持续攀升,NAND 作为核心存储介质的供需平衡已较为脆弱。<strong>而英伟达 ICMS 架构带来的新增需求具有刚性强、规模大的特点,将直接打破现有供需格局,导致全球 NAND 供应短缺的局面进一步加剧。</strong></p> <p>AI驱动下,NAND市场加速升级</p> <p id="488I6P9M">花旗认为,英伟达ICMS架构的推出并非孤立的技术革新,而是AI技术与存储行业深度融合的必然结果,这一趋势将深刻影响NAND市场的未来发展。报告指出,在大模型推理场景不断拓展、运算规模持续扩大的背景下,<strong>存储系统的性能、容量和能效已成为决定AI应用体验的关键因素,这将推动NAND技术加速向更高密度、更快读写速度、更低功耗的方向迭代升级。</strong></p> <p id="488I6P9N">同时,报告预测,<strong>AI原生存储架构的创新探索将为NAND行业开辟新的增长空间,除了当前的ICMS架构之外,未来可能会出现更多针对特定AI场景的定制化存储解决方案,持续释放NAND的需求潜力。</strong></p> <p id="488I6P9O">报告还提到,ICMS架构带来的需求增量不仅将利好NAND厂商,还将向上游产业链传导,推动SSD制造、存储控制器等相关环节的协同发展,为整个半导体产业链注入新的增长动力。</p>

编辑:安东尼塔·阿拉马特·库西扬诺维奇