多元损失融合框架下的多模态情感识别算法OA

随着计算机各类软硬件技术的快速发展,智能系统逐渐成为人们生活中不可或缺的一部分。情感识别技术作为场景理解、智能判断、智能决策等高级视觉任务的基础,广泛应用于智能交通、在线课堂、智慧医疗等前沿领域。然而,常规多模态融合背景下,模态数据的异质性使得情感特征空间难以有效提取,情感识别效果受到数据标签的准确度及数据内部噪声等影响。针对上述问题,提出了一种基于Transformer编码器的多元损失多模态融合网络框架。该框架通过特定的Transformer编码器从文本、音频和视频模式中提取情感信息,使用交叉注意力机制进行融合,以此保证各个模态类别情感信息的有效提取和融合。为了解决噪声问题,在对比学习机制下设计了三种不同的情感样本划分方法,并通过融合多元损失函数对模型进行优化,在最大限度地利用多个模态间相关信息的同时,最小化各个模态间的噪声。此外,通过标签对模型进行二次训练,来稳定模型提取情感特征的能力。实验结果表明,算法在精度和模型效率方面均优于常规融合算法。