Dari Pemindaian Menjadi Ucapan: Bagaimana Google Mendefinisikan Ulang AI Kesehatan

Ringkasan

Google memperbarui model AI medis open-source MedGemma dengan kemampuan untuk menginterpretasikan scan seperti CT dan MRI, serta merilis alat open MedASR untuk pengenalan suara ke teks.

Perusahaan teknologi Google mengumumkan pembaruan pada model AI MedGemma-nya, meningkatkan dukungan untuk aplikasi pencitraan medis

Model MedGemma 1.5 4B yang baru menggabungkan umpan balik dari komunitas pengembang untuk mendukung berbagai modality pencitraan medis, termasuk scan berdimensi tinggi seperti CT dan MRI, gambar histopatologi, pencitraan longitudinal seperti rangkaian waktu X-ray dada, dan tugas lokalisasi anatomi

Model ini juga meningkatkan pemahaman dokumen medis, memungkinkan ekstraksi data terstruktur dari laporan laboratorium. Dibandingkan dengan MedGemma 1 4B sebelumnya, pembaruan 1.5 4B menawarkan akurasi yang lebih baik untuk teks, catatan medis, dan pencitraan 2D, sambil tetap cukup ringkas untuk dijalankan secara offline

Untuk aplikasi berbasis teks yang lebih kompleks, pengembang dapat terus menggunakan model MedGemma dengan parameter 27B yang lebih besar. Detail lengkap dan benchmark tersedia dalam kartu model MedGemma 1.5.

MedGemma awalnya dibangun sebagai sistem multimodal untuk mencerminkan lingkungan data yang kompleks dalam kedokteran, dengan versi awal mendukung interpretasi gambar medis dua dimensi seperti X-ray dada, gambar dermatologi, scan retina, dan sampel histopatologi. Rilis terbaru, MedGemma 1.5, memperluas kemampuan ini untuk mencakup pencitraan medis berdimensi tinggi, menggabungkan data CT dan MRI tiga dimensi serta histopatologi slide lengkap. Pengembang kini dapat membuat aplikasi yang memproses beberapa irisan gambar atau potongan bersama dengan prompt khusus tugas, memungkinkan penggunaan diagnostik dan analitik yang lebih canggih.

Menurut evaluasi internal, MedGemma 1.5 menunjukkan peningkatan kinerja yang signifikan di berbagai domain, termasuk klasifikasi temuan CT dan MRI, analisis histopatologi, lokalisasi anatomi dalam X-ray dada, tinjauan gambar longitudinal, dan ekstraksi data terstruktur dari laporan laboratorium. Model ini juga menunjukkan peningkatan substansial dalam pemahaman teks medis dan tanya jawab rekam medis elektronik, mencerminkan kemajuan yang lebih luas dalam kinerja visi dan bahasa.

Fungsi yang diperluas ini membangun fondasi dari alat dasar CT Google sebelumnya dan merupakan salah satu model multimodal terbuka publik pertama yang mampu menangani data medis berdimensi tinggi bersama dengan teks tradisional dan gambar 2D. Meskipun fitur-fitur ini masih berkembang, perusahaan mengharapkan pengembang dapat mencapai peningkatan lebih lanjut melalui fine-tuning khusus domain, didukung oleh tutorial dan sumber daya baru untuk aplikasi CT dan histopatologi di Hugging Face dan Model Garden.

Google Perkenalkan MedASR Untuk Meningkatkan Pengakuan Suara Medis dan Alur Kerja AI Klinis

Selain itu, Google merilis MedASR, model pengenalan suara otomatis terbuka yang disesuaikan untuk diktat medis, yang mengubah suara menjadi teks dan dipasangkan dengan MedGemma untuk tugas penalaran tingkat lanjut

Meskipun teks tetap menjadi antarmuka dominan untuk model bahasa besar, komunikasi lisan terus memainkan peran sentral dalam praktik klinis, dari diktat dokter hingga konsultasi pasien secara real-time, menjadikan pengenalan suara yang akurat sebagai kemampuan penting.

MedASR dirancang khusus untuk bahasa medis, memungkinkan transkripsi terminologi domain-spesifik yang lebih andal dan berfungsi sebagai metode input alami untuk MedGemma. Dalam pengujian perbandingan terhadap model Whisper large-v3 yang bersifat umum, MedASR menunjukkan akurasi yang jauh lebih tinggi, menghasilkan lebih sedikit kesalahan transkripsi baik pada diktat X-ray dada maupun dalam tolok ukur internal yang mencakup berbagai spesialisasi medis dan profil pembicara.

Semua model HAI-DEF, termasuk MedGemma 1.5, MedASR, dan encoder gambar MedSigLIP, tetap gratis untuk penelitian dan penggunaan komersial dan dapat diakses di Hugging Face atau diintegrasikan ke dalam aplikasi skala besar di Vertex AI.

MedGemma Mendapatkan Traction Global Saat Sistem Kesehatan dan Peneliti Perluas Adopsi AI

Menurut Google, adopsi MedGemma semakin meluas di kalangan startup teknologi kesehatan dan tim riset di seluruh dunia, dengan model yang semakin banyak digunakan untuk mempercepat pengembangan berbagai aplikasi medis

Di Malaysia, Qmed Asia telah mengintegrasikan MedGemma ke dalam askCPG, sebuah sistem percakapan yang dirancang untuk memberikan akses ke lebih dari 150 pedoman praktik klinis nasional. Menurut Kementerian Kesehatan Malaysia, antarmuka ini telah meningkatkan kegunaan pedoman tersebut dalam pengambilan keputusan klinis rutin, sementara program percontohan awal melaporkan umpan balik yang sangat positif terhadap fitur pencitraan medis multimodal yang didukung oleh MedGemma.

Di Taiwan, Administrasi Asuransi Kesehatan Nasional telah menerapkan MedGemma untuk menganalisis penilaian pra-operasi untuk operasi kanker paru-paru. Dengan mengekstrak wawasan terstruktur dari puluhan ribu laporan patologi dan data klinis tidak terstruktur lainnya, inisiatif ini mendukung analisis statistik skala besar yang bertujuan untuk menginformasikan keputusan kebijakan dan meningkatkan perencanaan bedah serta hasil pasien.

Sejak dirilis awal tahun ini, MedGemma juga banyak dirujuk dalam penelitian AI medis akademik, di mana model ini menunjukkan kinerja yang kuat sebagai model dasar untuk tugas seperti pemahaman teks medis, dukungan pengambilan keputusan klinis multidisiplin, dan pelaporan mammografi.