零样本多模态大语言模型 vs. 监督式深度学习: 一项基于CT的颅内出血分型对比分析OA
目的:在无对比剂CT(non-contrast CT,NCCT)上准确识别颅内出血(intracranialhemorrhage,ICH)亚型对于预后评估和治疗决策至关重要,但由于图像对比度低、边界模糊,这一任务仍具挑战性。本研究旨在评估多模态大语言模型(multi-modal largelanguage models,MLLMs)与传统深度学习方法在ICH检测及分型中的零样本性能。方法:我们使用了来自RSNA数据集的192例NCCT影像数据,将GPT-4o、Gemini 2.0 Flash、Claude 3.5 Sonnet V2等MLLMs与ResNet50、VisionTransformer等传统深度学习模型进行比较。通过提示词引导MLLMs完成是否存在ICH、出血亚型判断、病灶定位以及体积估算等任务。结果:在ICH检测和分型两方面,传统深度学习模型的表现均优于MLLMs。特别是在分型任务中,MLLMs准确率较低,其中表现最佳的Gemini 2.0 Flash仅达到0.41的宏平均精确率(macro-averagedprecision)和0.31的F1分数。结论:尽管MLLMs可通过自然语言交互提升可解释性,但在ICH亚型识别的准确性方面仍逊于深度学习网络。未来需进一步优化,以增强其在三维医学影像分析中的实用价值。
Yinuo Wang;Kai Chen;Yue Zeng;Cai Meng;Chao Pan;Zhouping Tang;唐颖馨(编译)
Image Processing Center,Beihang University,Beijing 100191,ChinaSchool of Mechanical Engineering and Automation,Beihang University,Beijing 100191,ChinaImage Processing Center,Beihang University,Beijing 100191,ChinaImage Processing Center,Beihang University,Beijing 100191,ChinaDepartment of Neurology,Tongji Hospital,Tongji Medical College,Huazhong University of Science and Technology,Wuhan 430030,ChinaDepartment of Neurology,Tongji Hospital,Tongji Medical College,Huazhong University of Science and Technology,Wuhan 430030,China
医药卫生
颅内出血亚型多模态大语言模型医学图像分类验证
《神经损伤与功能重建》 2026 (2)
P.F0003-F0003,1
评论