谷歌新论文大幅压缩 KV cache

📂 重要动态 · 📰 量子位

谷歌研究院发表突破性论文，实现Transformer模型中KV cache内存占用降低6倍。该技术若落地将大幅降低AI推理成本，直接导致内存相关股票应声下跌。

阅读原文