Membaca suasana pasar untuk 100 juta pengguna: Bagaimana kami membangun mesin AI multi-model dengan respons 1 detik

Dalam dunia cryptocurrency, sebuah berita yang salah tafsir dapat menyebabkan kesalahan penilaian jutaan dolar. Sistem analisis sentimen lama kami—sebuah arsitektur yang menggabungkan model sumber terbuka dan LLM yang di-host sendiri—sudah tidak mampu lagi menghadapi aliran berita real-time dalam 25 bahasa di seluruh dunia. Situasi kegagalan yang umum terjadi adalah: ketika peristiwa seperti “Ethereum Merge” menimbulkan interpretasi yang sangat berbeda di komunitas berbagai bahasa, sistem kami akan mengalami penundaan yang meningkat atau memberikan label emosi yang bertentangan. Hal ini memaksa kami untuk memikirkan kembali inti permasalahan: bagaimana menyediakan wawasan pasar yang cepat dan akurat untuk pengguna global? Jawabannya akhirnya mengarah pada arsitektur “konsensus multi-model” yang dirancang dengan cermat.

Sumber: InterSystems

Perkembangan Arsitektur: Dari Model Tunggal ke Dewan Ahli

Awalnya kami terjebak dalam pencarian “model serba bisa”. Praktik membuktikan bahwa tidak ada satu LLM pun yang mampu memenuhi kebutuhan produksi secara bersamaan dalam hal kecepatan pemrosesan, ketepatan multibahasa, dan pengetahuan di bidang cryptocurrency. Claude 3 Haiku merespons dengan cepat, tetapi pemahamannya terhadap bahasa gaul komunitas Tiongkok terbatas; model Mistral yang kami fine-tune mahir dalam menganalisis whitepaper proyek, tetapi memiliki hambatan dalam throughput teks panjang. Lebih parah lagi, mengelola model-model ini secara mandiri menimbulkan beban infrastruktur—persaingan sumber daya GPU saat puncak lalu lintas dan kompleksitas operasional yang terus-menerus membuat tim kelelahan. Tantangan-tantangan ini mendorong kami beralih ke konsep inti federasi model: membiarkan model khusus menjalankan tugasnya masing-masing, dan menggabungkan kecerdasan kolektif melalui mekanisme arbitrase cerdas.

Desain Rantai Asinkron Dua Jalur

Inti dari sistem baru ini adalah sebuah pipeline asinkron dua jalur yang berjalan di AWS, dengan filosofi desain untuk menjaga redundansi dan secara ketat mengendalikan P99 latency dalam hitungan detik.

Teks berita pertama-tama masuk secara paralel ke dua jalur pemrosesan. Jalur pertama adalah jalur cepat, yang langsung memanggil Claude 3 Haiku di Amazon Bedrock untuk melakukan penilaian awal emosi dan ekstraksi entitas penting, biasanya dalam waktu 300 milidetik. Jalur kedua adalah jalur analisis mendalam, yang mengirim teks ke model Mistral 7B yang telah di-fine-tune di Amazon SageMaker untuk meningkatkan konteks domain, misalnya membedakan apakah lonjakan biaya gas disebabkan oleh kemacetan jaringan umum atau karena pencetakan NFT yang sedang tren, proses ini memakan waktu sekitar 600 milidetik.

Inovasi utama terletak pada desain lapisan arbitrase ringan. Lapisan ini membandingkan output dari kedua jalur secara real-time, dan ketika hasilnya sangat konsisten, hasil dari jalur cepat diutamakan untuk memastikan respons yang sangat cepat; ketika terjadi perbedaan, keputusan digabungkan dalam 20 milidetik berdasarkan aturan domain yang telah dipersiapkan dan skor kepercayaan. Mekanisme ini memastikan bahwa sebagian besar permintaan dapat memperoleh wawasan yang andal dalam waktu kurang dari satu detik, dengan kecepatan dan kedalaman yang seimbang.

Perangkap Tersembunyi di Saluran Data

Membangun model itu sendiri hanyalah lapisan permukaan dari tantangan rekayasa; kompleksitas sebenarnya tersembunyi dalam saluran data. Aliran data dari sumber berita global dan media sosial penuh dengan noise seperti campuran bahasa, emoji, dan slang internet. Untuk mengatasi ini, kami membangun sistem penyaringan berlapis—menggabungkan ekspresi reguler khusus bahasa dan model deteksi real-time berbasis FastText, memastikan teks input bersih. Stabilitas proses preprocessing ini secara langsung menentukan kepercayaan terhadap analisis selanjutnya.

Tantangan yang lebih besar adalah membangun sistem evaluasi. Kami tidak hanya mengandalkan penandaan manual oleh tim ahli multibahasa, tetapi juga memperkenalkan respons pasar sebagai indikator verifikasi dinamis: menganalisis korelasi antara output emosi dan fluktuasi harga aset jangka pendek terkait, untuk terus mengoptimalkan standar evaluasi. Ini mengubah sistem dari sekadar mengejar akurasi penandaan statis menjadi fokus pada efektivitas dalam mengikuti persepsi pasar yang dinamis.

Filosofi Biaya Infrastruktur

Migrasi ke Bedrock API membawa perubahan mendasar dalam model operasional. Manfaat paling nyata adalah penghapusan beban infrastruktur secara total dan kemampuan skalabilitas yang hampir tak terbatas—ketika berita mendadak menyebabkan lonjakan lalu lintas sebesar 300%, sistem dapat merespons secara mulus tanpa intervensi manusia. Dari segi biaya, meskipun menggunakan model penagihan berdasarkan Token, penghematan secara keseluruhan tercapai melalui caching cerdas terhadap template narasi yang sering digunakan dan pengoptimalan berkelanjutan terhadap prompt engineering, mengurangi biaya sekitar 35% dibandingkan dengan klaster GPU mandiri. Perubahan ini membebaskan sumber daya insinyur untuk fokus pada logika arbitrase dan pengoptimalan pipeline—inti inovasi utama.

Kesimpulan dan Arah Perkembangan

Intisari dari evolusi arsitektur ini adalah: untuk sistem produksi dengan performa ekstrem, “model otoritatif tunggal” seringkali kalah efektif dibandingkan “dewan ahli yang menjalankan tugas masing-masing”. Dengan mengintegrasikan respons cepat dari LLM umum dan pemahaman semantik mendalam dari model domain khusus, kami akhirnya membangun sistem persepsi emosi yang mampu bertahan terhadap tantangan pasar global secara real-time.

Ke depan, kami mendorong sistem ini bertransformasi dari “analisis emosi” menjadi agen “penelusuran narasi” yang cerdas. Tantangan baru adalah membuat AI tidak hanya mampu menilai polaritas emosi, tetapi juga mengenali dan terus mengikuti perjalanan terbentuk, menyebar, dan memudar dari narasi baru seperti “tokenisasi aset dunia nyata”. Ini menuntut arsitektur dengan mekanisme memori yang lebih kuat dan kemampuan penalaran sebab-akibat, sekaligus memimpin kami ke frontier eksplorasi infrastruktur keuangan cerdas generasi berikutnya.