基于ResMamba的互补特征融合面部表情识别OA

为改善在复杂场景下的面部表情存在特征冗余、对遮挡和姿态变化适应性不足的问题,提出了一种基于ResMamba的互补特征融合网络(ResMamba complementary feature fusion network,ResMambaCFFNet)。该网络首先以ResNet18为骨干网络引入基于二维选择性扫描的Mamba模块,该模块通过4条并行扫描路径以增强面部区域的特征选择能力,采用改进的中心聚类损失(center clustering loss,CCL)函数,设计了一种基于指数的类间相似性度量函数以扩大类间距离,避免类间特征重叠;其次,设计了一种自适应余弦分区损失(adaptive cosine margin loss,ACML)函数强调多头局部注意力的多样性,提高多头局部注意力对面部关键特征的不同表达;最后,采用门控机制对局部注意力模块和全局多尺度模块进行互补特征融合,该机制依据置信度动态融合细微的局部特征与完整的全局上下文信息,实现了不同尺度特征的自适应整合,从而增强了对面部特征的表达能力。实验结果表明:与MSRFormer方法相比,本文提出的ResMambaCFFNet方法在RAF-DB数据集上准确率提升了0.82百分点,在FERPlus数据集上准确率提升了0.47百分点。与MM-Net等方法相比,在遮挡和小角度姿态变化数据集上表现出更优的性能。