基于类别标签与天气提示的恶劣天气环境下驾驶场景多模态图像语义分割方法OA

在不良成像条件下实现稳健的车辆视角图像语义分割,对保障自动驾驶系统的安全至关重要。然而,当前基于图像去噪、领域适应等策略构建的分割模型,在恶劣天气环境下的适应性仍有待提升。直接应用泛化能力较强的SAM等视觉基础模型又容易受到天气因素干扰出现语义掩码预测误差。为此,本文提出一种基于成像条件文本与类别标签文本嵌入提示的多模态图像分割方法,命名为WeTex-SAM(Weather-Text Prompted Segment Anything Model)。首先利用对抗训练思路剥离天气影响,使用CLIP图像编码器和文本编码器并联形成天气特征生成器,得到独立于图像要素内容的天气分量,而后作为微调参数嵌入SAM模型的编码器中;然后针对恶劣天气造成的语义模糊,使用预训练BERT模型生成类别标签,而后通过跨模态注意力计算每个空间位置和语义标签的相关性得分,形成注意力权重,作为微调参数嵌入分割模型的解码器中。为避免梯度干扰,将训练过程划分为两个阶段:1)仅优化天气解耦模块的对抗预训练;2)联合微调所有模块,并引入谱范数约束和梯度裁剪以增强训练稳定性。在ACDC、Foggy Zurich和Foggy Driving等恶劣天气驾驶场景数据集上的实验结果表明,WeTex-SAM模型能够有效建模天气因素的影响,并显著提升在恶劣成像条件下的分割鲁棒性。