视觉-语言模型研究综述OA
A Survey of Visual-language Models
近年来,随着多模态学习的快速发展,视觉-语言模型(Visual-Language Models,VLMs)通过结合视觉和语言信息,凭借着其能利用来自互联网的几乎无限的大规模图像-文本对进行预训练,在图像描述和视觉问答等跨模态任务中展现了显著的性能优势,成为该领域的研究热点.然而,关于VLMs的系统性综述,特别是那些包含性能比较、分析和按照从头训练流程进行全面回顾的研究,仍然较为欠缺.因此,该文对截至2025 年VLMs的最新进展进行了全面回顾,具体包括:文本与图像原始特征处理方法的分类与讨论;主流模态交互策略的分类与回顾;经典与前沿模型架构的回顾与讨论;流行VLMs的系统性总结;VLMs的预训练任务、迁移学习策略的详细分类与回顾;现有迁移学习方法在性能表现、领域泛化的基准测试与讨论.提出三个未来研究方向.
In recent years,with the rapid development of multimodal learning,Visual-Language Models(VLMs)have demonstrated significant performance advantages in cross-modal tasks such as image captioning and visual question answering.By combining visual and linguistic information and leveraging large-scale image-text pairs available from the internet for pretraining,VLMs have become a research hotspot in the field.However,systematic reviews of VLMs,especially those including performance comparisons,analysis,and comprehensive reviews of end-to-end training processes,remain scarce.Therefore,we provide a comprehensive overview of the latest advancements in VLMs as of 2025,covering:classification and discussion of original text and image feature processing methods;classification and review of mainstream modal interaction strategies;review and discussion of classic and cutting-edge model architectures;a systematic summary of popular VLMs;benchmarking and discussion of current transfer learning methods in terms of per-formance,and domain generalization.The three future research directions are proposed.
马翌硕;张光南;刘亚婷;闫迪;陈冬;刘星愿;郭帅
宝鸡文理学院 计算机学院,陕西 宝鸡 721016宝鸡文理学院 计算机学院,陕西 宝鸡 721016宝鸡文理学院 计算机学院,陕西 宝鸡 721016宝鸡文理学院 计算机学院,陕西 宝鸡 721016宝鸡文理学院 计算机学院,陕西 宝鸡 721016宝鸡文理学院 计算机学院,陕西 宝鸡 721016宝鸡文理学院 计算机学院,陕西 宝鸡 721016
信息技术与安全科学
视觉语言模型图像文本预训练视觉语言学习多模态迁移学习
visual-language modelsimage-text pretrainingvisual-language learningmultimodaltransfer learning
《计算机技术与发展》 2026 (3)
1-10,10
陕西省重点研发计划项目(2024GX-YBXM-104)
评论