英特尔发布LLM高级量化算法

📂 精选资讯 · 📰 Hacker News

英特尔开源Auto-Round算法，可将大语言模型量化至4比特精度而保持90%以上原始性能。该方法突破性地解决了低比特量化中的精度损失问题，使LLM在消费级硬件部署成为可能。开发者实测显示，70亿参数模型可在16GB内存笔记本流畅运行。

阅读原文