NVIDIA menjalin kemitraan jangka panjang AI terbuka dengan Deepinfra dan mengantongi pendanaan Seri B sebesar 107 juta dolar AS untuk membangun “pabrik token”

Startup kecerdasan buatan DeepInfra mengumumkan penyelesaian pendanaan Seri B senilai 1,07 miliar dolar AS, dipimpin oleh 500 Global dan insinyur Google senior awal, Georges Harik, dengan partisipasi investor strategis seperti NVIDIA, Samsung Next, dan Supermicro. Menurut keterangan resmi, suntikan dana ini akan digunakan untuk memperluas kapasitas pusat data global, guna mengatasi biaya komputasi dan hambatan efisiensi yang dihadapi saat aplikasi AI beralih dari “pelatihan model” ke “inferensi skala besar”.

Lonjakan kebutuhan inferensi menjadi bottleneck kunci bagi penerapan perusahaan

Seiring AI bergerak menuju komersialisasi, fokus beban kerja perusahaan telah bergeser secara signifikan. DeepInfra mencatat bahwa sejak pendanaan Seri A, jumlah Token yang diproses di platformnya meningkat hingga 25 kali, menunjukkan bahwa Inference (inferensi) kini menjadi penggerak utama beban kerja AI perusahaan. Saat ini, performa model open-source sudah dapat menyamai sistem proprietary, sehingga menurunkan ambang inovasi secara besar. Namun, aplikasi sistem otonom berbasis agen (Agentic Systems) yang menyertainya membuat satu tugas dapat memicu ratusan kali pemanggilan model. Karena platform cloud umum tidak dirancang berdasarkan kebutuhan inferensi, perusahaan menghadapi tantangan seperti biaya operasional yang terlalu tinggi dan latensi yang sulit diprediksi, sehingga inferensi menjadi kendala sistem dalam beban kerja.

Integrasi vertikal tumpukan dan optimalisasi ekonomi token

DeepInfra menerapkan strategi integrasi vertikal, dengan argumen bahwa inferensi berperforma tinggi harus dicapai melalui desain terpadu antara perangkat keras, jaringan, dan perangkat lunak. Tim ini sebelumnya memiliki pengalaman mengembangkan sistem terdistribusi untuk aplikasi komunikasi global dengan 200 juta pengguna imo. Saat ini, mereka telah mendirikan delapan infrastruktur GPU di Amerika Serikat. Dibandingkan layanan yang menyewa kapasitas dari pihak ketiga, DeepInfra memiliki kontrol atas tumpukan penuh mulai dari level chip hingga antarmuka API. Desain ini memungkinkannya mengoptimalkan tugas pembuatan token yang “selalu aktif”, sehingga saat menjalankan beban kerja AI yang cerdas, DeepInfra dapat memberikan latensi yang lebih dapat diprediksi dibanding lingkungan cloud umum.

Deepinfra adalah mitra infrastruktur awal dalam ekosistem AI terbuka jangka panjang NVIDIA

Deepinfra merupakan mitra infrastruktur dasar di tahap awal untuk ekosistem AI terbuka NVIDIA, mendukung model Nemotron, arsitektur agen NemoClaw, dan perangkat lunak inferensi NVIDIA Dynamo. Penerapan awal GPU Blackwell serta integrasi yang akan datang dari Vera Rubin dan Dynamo akan meningkatkan efisiensi biaya inferensi hingga 20 kali.

Deepinfra menyediakan model open-source yang kompetitif

Dalam hal kontrol biaya, DeepInfra mengoperasikan lebih dari 190 model open-source melalui optimasi perangkat keras untuk menawarkan harga yang sangat kompetitif di pasar. Sebagai contoh, pada model inferensi open-source GLM-5, penetapan harga hibridnya adalah 1,24 dolar AS per satu juta token, lebih rendah sekitar 20% dibanding nilai rata-rata industri. Untuk “model pemikiran” yang membutuhkan perhitungan token internal dalam jumlah besar, platform ini mengembangkan mekanisme cache yang memberikan diskon harga untuk teks statis dengan input berulang, sehingga dapat menurunkan biaya untuk percakapan multi-babak dan pipeline retrieval-augmented generation (RAG). Untuk memenuhi kebutuhan keamanan dari sisi perusahaan, DeepInfra menyediakan API yang kompatibel dengan OpenAI serta berkomitmen pada nol retensi data. Selain itu, mereka telah memperoleh sertifikasi SOC 2 dan ISO 27001 untuk memastikan pengembang dapat langsung menerapkan model ke lingkungan produksi resmi.

Pentingnya infrastruktur inferensi khusus bagi tahap berikutnya perkembangan AI

Dukungan pasar investasi terhadap DeepInfra mencerminkan bahwa pentingnya infrastruktur AI kini secara bertahap melampaui model itu sendiri. Managing Partner 500 Global, Tony Wang, menyebutkan bahwa dalam lingkungan pengembangan yang digerakkan oleh agen, pengembang membutuhkan platform khusus yang lebih fleksibel, cepat, dan andal. Setelah penyelesaian putaran pendanaan ini, total nilai pendanaan DeepInfra telah mencapai 1,33 miliar dolar AS. Dana akan digunakan untuk ekspansi kapasitas komputasi global, memperdalam alat bagi pengembang, serta mendukung model agen otonom generasi berikutnya. Seiring jumlah token yang diproses mingguan mendekati 5 triliun, DeepInfra menargetkan membangun “pabrik token” yang berdaya guna tinggi, guna menyediakan fondasi komputasi yang berkelanjutan bagi perusahaan pada tahap penerapan AI secara berskala.

Artikel ini Deepinfra mitra AI terbuka jangka panjang NVIDIA meraih pendanaan Seri B 1,07 miliar dolar untuk membangun “pabrik token” pertama kali muncul di Rantai Berita ABMedia.