KV 缓存压缩技术达 4 倍

📂 精选资讯 · 📰 Hacker News

研究者提出推测式 KV 编码方法，无损压缩 KV 缓存达 4 倍。该技术可显著降低大模型推理成本，113 分讨论反映行业对优化计算资源的持续追求。

阅读原文