LLM із 28,9 млн параметрів, що працює на мікроконтролері $8 ESP32.


Що це насправді означає:
> ESP32 — це чип усередині дешевих IoT-гаджетів, а не девборд із GPU
> 28.9M параметрів — це дрібниця за мірками лабораторій, але дуже багато для модуля з мізерно доступною пам’яттю RAM
> повний інференс на пристрої, без звернення до хмари, без мережевих затримок туди-назад
Edge AI дедалі частіше подають як дорогий кремній. Це інший напрям. Поріг тепер — гроші “на рівні диванної подушки”.
Переглянути оригінал
post-image
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріплено