雷峰网·· 6 小时前AI 评分38
华为已为 KV Cache 单独做存储,专用 SSD 规格却还没定下来
华为已为KV Cache单独做存储,专用SSD规格却还没定下来
AI 导读
华为在全联接大会上推出 OceanStor M900,英伟达也已推出 CMX Context Memory Storage,将推理中可复用的 KV Cache 分层外置到 SSD,以存换算降低算力开销。但承接 KV Cache 的专用 SSD 尚无统一标准,耐写要求从 3 DWPD 一度提到 9 DWPD,业内估算形成较统一产品共识还需 6 至 12 个月。
来源:雷峰网 · leiphone.com