达摩院开源专家级通用医疗影像AI模型
「阿里达摩院宣布开源通用医疗影像AI模型DAMO RADAR,该模型面向腹部增强CT,可一次性识别超146种病症,在近4万次真实世界检查中AUC达0.913,成为首个达到影像科专家级水平的通用医学影像AI模型,相关成果登上《科学》期刊。」
阿里达摩院宣布,其联合浙江大学医学院附属第一医院等机构研发的通用医疗影像AI模型DAMO RADAR正式开源。该模型面向腹部增强CT诊断,可一次性识别超过146种病症,准确性首次达到影像科专家级水平,相关成果已登上国际顶级学术期刊《科学》。
据达摩院介绍,研究团队采用视觉语言学习方法,让模型直接学习医学影像与对应报告文本之间的内在关联信息。达摩院高级算法专家张建鹏表示,由于CT数据信号稀疏,常规的视觉语言学习效果并不理想,因此该研究在国际上首次采用器官级细粒度对齐策略,将CT构建为三维数据并分解为解剖单元,在组织器官层面实现图像与报告文本的精确对齐,同时通过自适应对比建模策略对模型进行动态调整,无需额外人工标注即可完成可扩展、多用途、可解释的诊断。
最终,DAMO RADAR覆盖了包含恶性肿瘤在内的广泛腹部病症,研究团队对其中的146种病症进行了评估,涉及18个器官。在近4万次真实世界检查中,该模型的AUC可达0.913。AUC是衡量模型区分患者与正常人能力的指标,数值越高越好,1代表能够进行完美区分。凭借这一表现,DAMO RADAR成为首个达到专家水平的通用医学影像AI模型。
论文还披露了人机对比试验的结果。研究团队与来自多家医院的26名影像科医生进行了对照测试,DAMO RADAR的平均准确率超过了其中23名医生。在AI提示的辅助下,影像科医生识别疾病的敏感性提高了10%,即防漏诊能力得到增强,平均用时则减少了30%以上。更值得关注的是,借助模型的支持,低年资医生能够达到高年资医生的诊断水平。
从技术路径上看,这项工作的价值不只在单一任务的性能数字上。传统医学影像AI通常针对某一类病灶或某一种检查单独训练,换一个部位、换一种病种就需要重新标注数据并重新训练,落地成本高、泛化能力有限。DAMO RADAR以器官级细粒度对齐为核心,把影像与报告文本在解剖结构层面建立联系,使模型具备一次识别上百种病症的通用能力,同时保留较强的可解释性,这为通用医学影像基础模型提供了一条可复制的技术路线。
此次以开源形式发布,意味着研究团队将模型能力开放给更广泛的开发者与研究者。对于医学影像方向的团队而言,可以基于该模型探索腹部CT以外的适配与迁移,也可以围绕诊断提示、报告生成、多模态检索等方向做二次开发,从而降低通用医疗影像模型的研发门槛。达摩院方面表示,相关研究无需额外人工标注即可完成可扩展、多用途、可解释的诊断,这也为后续在更多检查类型和更多病种上的扩展留下了空间。
来源:Heooo AI工具导航