لقد رأيت للتو أن PrismML أطلقت شيئًا مثيرًا جدًا للاهتمام: سلسلة نماذج اللغة Bonsai الثلاثية. ما لفت انتباهي هو أنهم تمكنوا من تقليل استهلاك ذاكرة GPU بشكل كبير، حيث انخفض إلى تسعة أجزاء مقارنةً بالنماذج ذات 16 بت. يستخدمون بشكل أساسي أوزان ثلاثية القيمة بواقع 1.58 بت يمكنها أن تأخذ ثلاث قيم فقط: -1، 0، أو +1. يبدو الأمر تقنيًا، لكن الفكرة هي إزالة الاتصالات الزائدة في الشبكة العصبية لتحسين القدرة على الاستنتاج دون التضحية بالأداء.

الجزء المثير للاهتمام من حيث السعر وإمكانية الوصول هو أن نموذج Bonsai 8B يحتاج فقط إلى 1.75 جيجابايت من التخزين للأوزان، مما يجعله عمليًا جدًا للأجهزة الطرفية. مقارنةً بالبدائل الأثقل، فإن نسبة التكلفة إلى الأداء جيدة جدًا. يحقق متوسط تقييم 75.5 في الاختبارات، متفوقًا حتى على سلفه الذي يستخدم 1 بت والنماذج الكثيفة المماثلة. والأفضل من ذلك هو أنه يعمل بشكل أصلي على أجهزة أبل، لذلك لا تحتاج إلى حلول مؤقتة غريبة.

من حيث السرعة، على iPhone 17 Pro Max يحقق 27 رمزًا في الثانية بكفاءة طاقة أفضل بثلاث إلى أربع مرات. هذا قفزة كبيرة في سرعة الاستنتاج على الأجهزة المحمولة. الآن، تتوفر نماذج بثمانية مليارات، وأربعة مليارات، و1.7 مليار معلمات، جميعها مفتوحة المصدر على Hugging Face بموجب رخصة Apache 2.0. للمطورين الذين يبحثون عن حلول ذكاء اصطناعي عالية الأداء دون إنفاق ثروة على البنية التحتية، تبدو نماذج Bonsai خيارًا قويًا جدًا.