现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。
程艳;胡建生;赵松华;罗品;邹海锋;詹勇鑫;富雁;刘春雷;
江西师范大学计算机信息工程学院,江西南昌330022 智能信息处理与情感计算江西省重点实验室,江西南昌330022江西师范大学计算机信息工程学院,江西南昌330022江西软云科技股份有限公司,江西南昌330200江西和壹科技有限公司,江西南昌330200
计算机与自动化
方面词;情感分类;循环神经网络;Transformer;交互注意力网络;BERT;局部特征;深度学习
《智能系统学报》 2024 (003)
P.728-737 / 10
国家自然科学基金项目(62167006,61967011);江西省科技创新基地-智能信息处理与情感计算江西省重点实验室(原江西省智能教育省重点实验室)项目(20212BCD42001);江西省03专项及5G项目(20212ABC03A22);江西省主要学科学术和技术带头人培养计划-领军人才项目(20213BCJL22047);江西省自然科学基金项目(20212BAB202017).
10.11992/tis.202303016
评论