Un LLM de 28,9 millions de paramètres, exécuté sur un microcontrôleur ESP32 à 8 dollars.

Ce que cela veut réellement dire :
> l’ESP32 est la puce à l’intérieur de gadgets IoT bon marché, pas une carte de développement avec un GPU
> 28,9M de paramètres est minuscule selon les standards des laboratoires, mais énorme pour une puce disposant de quelques kilo-octets de RAM en rab
> inférence complète sur l’appareil, sans appel au cloud, sans aller-retour réseau
L’Edge AI est de plus en plus présentée comme un matériel coûteux. Là, c’est l’autre sens. Le seuil, c’est maintenant le prix des coussins de canapé.