Tether Meluncurkan Framework BitNet LoRA di Seluruh Platform

• Kerangka kerja LoRA BitNet dari Tether memungkinkan pelatihan model AI di berbagai perangkat seperti ponsel pintar, GPU, dan perangkat konsumen.

• Sistem ini mengurangi penggunaan memori dan meningkatkan kinerja, dengan kebutuhan VRAM hingga 77,8% lebih rendah.

• Pengguna dapat menyempurnakan model hingga 13 miliar parameter di perangkat mobile, memperluas kemampuan AI edge.

Tether mengumumkan kerangka kerja AI baru melalui platform QVAC Fabric-nya, memungkinkan pelatihan BitNet LoRA lintas platform di perangkat konsumen. Pembaruan ini memungkinkan model dengan miliaran parameter berjalan di ponsel pintar dan GPU. CEO Paolo Ardoino berbagi perkembangan ini, menyoroti pengurangan biaya dan akses yang lebih luas ke alat AI.

Pelatihan AI Lintas Platform Memperluas Akses

Pembaruan QVAC Fabric memperkenalkan dukungan lintas platform untuk penyempurnaan BitNet LoRA. Ini memungkinkan model AI berjalan di berbagai perangkat keras dan sistem operasi.

Yang menarik, kerangka kerja ini mendukung GPU dari AMD, Intel, dan Apple, termasuk chipset mobile. Ia juga menggunakan backend Vulkan dan Metal untuk kompatibilitas.

Menurut Tether, ini adalah pertama kalinya BitNet LoRA bekerja di berbagai perangkat seperti ini. Akibatnya, pengguna dapat melatih model di perangkat keras sehari-hari.

Peningkatan Kinerja di Perangkat Konsumen

Sistem ini mengurangi kebutuhan memori dan komputasi dengan menggabungkan teknik BitNet dan LoRA. BitNet mengompresi bobot model menjadi nilai yang disederhanakan, sementara LoRA membatasi parameter yang dapat dilatih.

Bersama-sama, metode ini secara signifikan menurunkan kebutuhan perangkat keras. Misalnya, inferensi GPU berjalan dua hingga sebelas kali lebih cepat daripada CPU di perangkat mobile.

Selain itu, penggunaan memori menurun tajam dibandingkan model presisi penuh. Benchmark menunjukkan penggunaan VRAM hingga 77,8% lebih sedikit dibandingkan sistem sejenis.

Tether juga menunjukkan penyempurnaan model di ponsel pintar. Pengujian menunjukkan model dengan 125 juta parameter dilatih dalam hitungan menit di perangkat seperti Samsung S25.

Perangkat Mobile dan Edge Menangani Model Lebih Besar

Kerangka kerja ini memungkinkan model yang lebih besar berjalan di perangkat edge. Tether melaporkan keberhasilan penyempurnaan model hingga 13 miliar parameter di iPhone 16.

Selain itu, sistem ini mendukung GPU mobile seperti Adreno, Mali, dan Apple Bionic. Ini memperluas pengembangan AI di luar perangkat keras khusus.

Menurut Paolo Ardoino, pengembangan AI sering bergantung pada infrastruktur mahal. Ia mengatakan kerangka kerja ini mengalihkan kemampuan ke perangkat lokal.

Tether menambahkan bahwa sistem ini mengurangi ketergantungan pada platform terpusat. Ini juga memungkinkan pengguna melatih dan memproses data langsung di perangkat mereka.