基于联邦多模态的中文医学影像报告自动生成模型OA

准确、高效地自动生成医学影像报告成为提高诊疗效率、缓解医疗资源短缺的关键。目前,医学影像报告自动生成研究以英文为主,无法满足我国的临床需求,且存在医疗数据共享与患者隐私保护矛盾、从头训练模型成本高昂等问题。为此,提出基于联邦多模态的中文医学影像报告自动生成模型,该模型以联邦学习为框架,以多模态大模型VisualGLM-6B为基座,采用低秩自适应大模型微调技术,允许医疗机构在不暴露本地数据的前提下微调以优化模型性能。同时,设计了一种联邦自适应算法,用于动态计算不同机构模型聚合系数以提高模型的泛化性能。实验结果表明,所提模型在MIMIC-CXR内部测试集上的BLEU-1,BLEU-2,BLEU-3,BLEU-4,METEOR和ROUGE指标相较于基线XrayGLM分别提高了18.06%,17.85%,11.37%,1.61%,13.44%和5.06%,且在外部测试数据集OPEN-I上也表现出良好的泛化性能。