融合任务分解与标签重构的类增量学习OA

现有类增量学习(CIL)方法在训练过程中不区分新旧类别,而是对所有样本统一使用交叉熵损失,导致模型因新类样本数量占优而产生分类偏移,即模型倾向于将输入样本预测为新类,造成对旧类的灾难性遗忘。该文提出将学习任务分解为三个阶段:新旧类判别,用于确定样本所属的类别域;新类内的细粒度分类;旧类内的细粒度分类。在新旧类判别阶段进一步引入参数约束,通过限制新旧类权重的范数差异,主动抑制新类权重的过度学习,从而校正模型输出的偏差。此外,为应对过度强调保留旧知识(稳定性)会削弱模型学习新知识的能力(可塑性)问题,提出旧类标签重构,使模型在学习旧知识的同时仍能保持对新类的关注,从而增强模型的可塑性。该方法采用即插即用设计,可灵活集成到现有方法中。在CIFAR-10、CIFAR-100和ImageNet-100数据集上集成到五种算法上的实验证明了该方法的有效性。与多种即插即用方法的比较证明了该方法对基线方法的提升更高,在两种条件下分别取得了12.55百分点和7.34百分点的提升。