A PrismML lança o Bonsai 27B, o primeiro modelo de IA compactado de 27B para 3,9 GB para iPhone

De acordo com a PrismML, a empresa lançou o Bonsai 27B, um modelo de IA com 27 mil milhões de parâmetros comprimido para 3,9 GB, no início desta semana—pequeno o suficiente para correr num iPhone 17 Pro Max a 11 tokens por segundo. A variante ternária retém 94,6% do desempenho de referência em precisão total, superando as versões convencionais de Qwen em baixo bit, que são quase duas vezes maiores e falham em tarefas de matemática e programação. A variante binária atinge 1,125 bits por peso, quantizando os parâmetros do modelo para sinais binários únicos com fatores de escala partilhados.

A Apple está em conversas iniciais com a PrismML sobre a tecnologia de compressão, segundo a CNBC. O CEO da PrismML, Babak Hassibi, confirmou que a empresa está a avaliar a tecnologia para um possível uso no dispositivo. Um modelo Gemma comprimido é o próximo na fila, seguido por modelos frontier maiores; o Bonsai 27B de 1-bit está disponível para descarregamento gratuito sob a licença Apache 2.0.