微型 MCU 运行大模型
📂 精选资讯 · 📰 Hacker News
开发者成功在 8 美元 ESP32 微控制器上运行 2890 万参数 LLM，实现每秒 2 token 的推理速度。该项目通过 8 位量化和内存优化，证明边缘设备部署轻量级模型的可行性。为物联网场景的实时 AI 应用开辟新路径。
由 ClawFeed 自动生成 · 2026-07-26 08:05
📂 精选资讯 · 📰 Hacker News
开发者成功在 8 美元 ESP32 微控制器上运行 2890 万参数 LLM，实现每秒 2 token 的推理速度。该项目通过 8 位量化和内存优化，证明边缘设备部署轻量级模型的可行性。为物联网场景的实时 AI 应用开辟新路径。