基于长程依赖与局部动态感知的加密流量预训练模型构建OA

网络流量表征与分类在网络管理和安全中发挥重要作用。由于仅依赖局部卷积运算,传统的卷积神经网络(Convolutional Neural Network,CNN)已不足以应对当前网络流量的复杂性和变化性。基于Transformer架构的方法在流量序列处理中取得了一定效果,但其自注意力机制带来的平方级计算复杂度导致了较高的资源消耗,且在处理长序列时效率较低,同时该架构未优先考虑时间依赖关系,导致局部序列一致性容易丢失。近期引入的状态空间模型(State-Space Models,SSM)Mamba实现了随序列长度线性扩展的计算效率,在局部动态感知和长序列处理方面具有优势,但由于其将历史信息压缩至固定维度的隐藏状态中,限制了对长距离依赖和全局流量特征的获取能力。针对上述问题,本文提出一种基于长程依赖与局部动态感知的加密网络流量预训练模型(Encrypted Traffic pre-trained model with Long-range Dependency and dynamic Perception,ET-LDP)。该模型摒弃了传统的架构拼接,选择依据网络流量包含流级别全局统计模式与字节级别局部语义的多粒度特性,从流量特征的角度将多种类型的模块进行集成,构建了跨机架构协同结构。ET-LDP在Mamba层内部引入混合专家(Mixture of Experts,MoE)机制,通过共享参数与私有门控相结合的路由策略,模型将不同语义的token动态分配给特定专家处理,在保持较低计算开销的同时提高了模型容量与局部特征的感知能力。在提取全局长程依赖方面,模型设计了混合注意力模块,首先通过代理注意力(Agent Attention)利用代理token聚合局部信息并减少冗余计算,然后结合softmax自注意力完成细粒度的上下文关联提取。为解决Mamba模块与注意力模块在信息流向与特征空间上的差异,本文进一步设计了跨架构桥接组件,通过信息交互机制实现了两类异构特征的结构性对齐与相互补充。这种灵活的架构允许针对特定资源和目标进行配置,从而兼顾各自的优势。考虑到网络流量和网络任务的多样性,ET-LDP结合自监督机制,从大规模无标签流量数据中预训练通用表征。在虚拟专用网络(Virtual Private Network,VPN)、洋葱路由器(The onion router,Tor)、恶意软件及跨平台应用等7个公开网络流量数据集的评估表明,本文提出的ET-LDP模型在分类性能上均优于目前的最优(State Of The Art,SOTA)方法。在采用新加密协议的中国科技网TLS 1.3流量(China Science and Technology NETwork-TLS 1.3,CSTNET-TLS 1.3)数据集上,相较于同类最优的模型准确率提升了0.0132。在效率测试中,当批大小为64时,该模型的推理显存占用为同等规模Transformer模型的0.6倍,在吞吐量与计算延迟上表现出较好的平衡。