一個 28.9M 參數的 LLM，跑在一顆價值 8 的 ESP32 微控制器上。

這到底意味著什麼：
> ESP32 是便宜的 IoT 裝置裡的晶片，而不是帶有 GPU 的開發板
> 28.9M 參數在實驗室標準裡很小，但對於能額外提供幾 KB 以上 RAM 的部件來說卻很大
> 在裝置端完整推論，沒有雲端呼叫，沒有網路往返
Edge AI 近來總被渲染成昂貴的矽晶硬體。這是另一個方向。現在的門檻就是枕頭墊等級的錢。