从扫描到语音：谷歌如何重新定义医疗AI

简要介绍

谷歌更新了其开源医疗AI MedGemma，增强了对CT和MRI等扫描的解读能力，同时发布了开源的语音转文本工具MedASR。

科技公司谷歌宣布对其MedGemma AI模型进行了升级，提升了对医疗影像应用的支持

新版MedGemma 1.5 4B模型结合了开发者社区的反馈，更好地支持多种医疗影像模态，包括高维扫描如CT和MRI，组织病理图像，纵向影像如胸部X光时间序列，以及解剖定位任务

它还改善了医疗文档理解能力，能够从实验室报告中提取结构化数据。与之前的MedGemma 1 4B相比，1.5 4B版本在文本、医疗记录和2D影像的准确性方面有所提升，同时体积足够小，可以离线运行

对于更复杂的基于文本的应用，开发者仍可使用更大参数的27B模型。完整细节和基准测试请参见MedGemma 1.5模型卡。

MedGemma最初设计为多模态系统，以反映医学中的复杂数据环境，早期版本支持解读二维医疗影像，如胸部X光、皮肤科图像、视网膜扫描和组织病理样本。最新发布的MedGemma 1.5扩展了这些能力，涵盖高维医疗影像，包括三维CT和MRI数据以及全切片组织病理。开发者现在可以创建处理多个图像切片或块的应用，并结合任务特定的提示，实现更先进的诊断和分析用途。

根据内部评估，MedGemma 1.5在多个领域表现出显著的性能提升，包括CT和MRI发现的分类、组织病理分析、胸部X光的解剖定位、纵向影像审查以及实验室报告中的结构化数据提取。模型在医疗文本理解和电子健康记录问答方面也取得了实质性进步，反映出视觉和语言性能的整体提升。

这一扩展功能基于谷歌早期的CT基础工具，代表了首批公开可用的多模态模型之一，能够同时处理高维医疗数据、传统文本和二维影像。虽然这些功能仍在不断发展中，但公司预计开发者可以通过领域特定的微调实现进一步改进，相关教程和资源已在Hugging Face和Model Garden上发布，支持CT和组织病理应用。

谷歌推出MedASR，提升医疗语音识别和AI临床工作流程

此外，谷歌还发布了MedASR，一款针对医疗口述进行微调的开源自动语音识别模型，能够将语音转换为文本，并与MedGemma配合进行高级推理任务

虽然文本仍是大型语言模型的主要界面，但口头交流在临床实践中依然扮演着核心角色，从医生口述到实时患者会诊，准确的语音识别成为必不可少的能力。

MedASR专为医疗语言设计，能够更可靠地转录专业术语，并作为MedGemma的自然输入方式。在与通用的Whisper large-v3模型的对比测试中，MedASR表现出明显更高的准确率，在胸部X光口述和涵盖多种医疗专业和发言人特征的内部基准测试中，错误率显著降低。

所有HAI-DEF模型，包括MedGemma 1.5、MedASR和MedSigLIP图像编码器，均可免费用于研究和商业用途，可在Hugging Face上获取，或集成到Vertex AI的可扩展应用中。

MedGemma在全球范围内获得关注，医疗系统和研究人员扩大AI应用

据谷歌介绍，MedGemma的采用正在全球范围内的医疗科技创业公司和研究团队中扩大，模型正被越来越多地用于加速各种医疗应用的开发

在马来西亚，Qmed Asia已将MedGemma集成到askCPG中，这是一个旨在提供超过150个国家临床实践指南的对话系统。根据马来西亚卫生部的说法，该界面改善了这些指南在日常临床决策中的可用性，早期试点项目对MedGemma驱动的多模态医疗影像功能反馈尤为积极。

在台湾，国家健康保险署已将MedGemma应用于肺癌手术的术前评估分析。通过提取数万份病理报告和其他非结构化临床数据中的结构化信息，该项目支持大规模统计分析，旨在为政策制定提供依据，改善手术规划和患者预后。

自今年早些时候发布以来，MedGemma在学术医疗AI研究中也被广泛引用，表现出作为基础模型在医疗文本理解、多学科临床决策支持和乳腺摄影报告等任务中的强大性能。