基于帧注意力的视频去模糊模型OA

现有的视频去模糊模型分为基于滑动窗口和基于循环结构两种:一种是基于滑动窗口的方法,这种方法将连续的若干帧输入模型,这样的设计使得中心帧能够利用到的清晰信息十分有限;另一种是基于循环结构的方法,这种方法将视频中的每一帧以循环神经网络的方式输入模型,但包含清晰信息的隐式特征会随着传播距离的增加而逐渐衰弱.基于上述问题,本文提出了基于帧注意力的方法.这是一种不同于上述两种方法的全新的视频去模糊框架,会为中心帧选取最适合的辅助帧集合.为了解决帧间位移较大的问题,本文设计了轻量的光流模型,并采用知识蒸馏的方式进行微调,提升了对齐模块处理模糊图像的能力.在两个常用的视频去模糊数据集上进行了实验,结果表明,该方法的峰值信噪比达到31.91 dB,具有很好的性能.