CeCR:Cross-entropycontrastive replay for online class-incremental continual learning
CeCR:Cross-entropycontrastive replay for online class-incremental continual learning
Guanglu Sun∗, Baolun Ji, Lili Liang, Minghui Chen 哈尔滨工业大学计算机科学与技术学院，中国哈尔滨
摘要
在实现持续从在线数据流中学习的目标下，基于重放的方法展现出显著优势。这类方法的核心挑战在于如何选择具有代表性的样本进行存储和重放。本文针对在线类增量场景，提出交叉熵对比重放（CeCR）方法。首先，我们开发了类聚焦记忆检索机制，实现无重放的类级采样；其次，提出类均值近似记忆更新策略，通过用当前输入批次样本替换误分类训练样本；同时引入交叉熵对比损失函数，通过获取更扎实的知识来实现有效学习。实验表明，CeCR方法在两个基准数据集上的表现与当前最优方法相当甚至更优。
1.引言
在本研究的在线增量学习场景中，模型需要持续从实时数据流中进行学习。由于数据以在线方式流入，即每个样本仅被观察一次，这导致无法对全部训练数据进行多轮训练。OCL模型采用单头评估架构部署，即所有类别必须共享同一个分类器，因为模型无法获取任务标识信息。这种设置对于自动驾驶汽车和机器人等现实应用场景而言，更具挑战性且更符合实际需求。
现有的CL方法主要分为三大类：基于重放的方法、参数隔离方法和正则化方法。其核心差异体现在存储信息类型与输入干扰抑制方式上。基于重放的方法通过存储先验样本或生成模型，通过重放已存储或生成的样本来避免遗忘效应。参数隔离方法通过存储模型组件信息，为不同任务分配不同参数。正则化方法为每个参数存储“重要性值”，并约束某些参数的更新。
本研究聚焦于基于回放的方法，因其在知识保留方面表现更优，优于其他方法。回放缓冲区作为存储训练样本的缓冲区，通过让已存储样本反复参与后续训练，帮助模型巩固已学知识。因此，回放缓冲区的操作机制成为基于回放方法研究的热点领域。该机制包含两大核心组件：记忆检索（MemoryRetrieval）和记忆更新（MemoryUpdate）。记忆检索负责缓冲区回放，通过从回放缓冲区中选取样本参与回放训练，使模型能够持续记忆已学知识。记忆更新则负责缓冲区管理，通过从训练样本中筛选具有代表性的新类别样本构建回放缓冲区，并通过剔除代表性较弱的样本来缩减已知类别的回放缓冲区。因此，基于回放方法的关键问题在于：记忆检索需要检索哪些样本，记忆更新又需要存储哪些样本。
随机采样已成为近期多项记忆检索研究中最常用的方法(De Lange & Tuytelaars, 2021; Rolnick, Ahuja, Schwarz, Lillicrap, & Wayne, 2019)。为优化学习行为并减少干扰，MIR方法（阿尔琼迪、贝利洛夫斯基等，2019）根据新数据虚拟更新导致的损失增加来选择重放缓冲样本。ASER方法（辛姆等，2021）提出对抗性沙Adversarial Shapley（AS）值评分机制，既能防止遗忘又能最大限度干扰输入批次，从而确保学习过程的可塑性。现有记忆检索方法存在类别分布不平衡的问题，导致某些类别的样本可能被反复重放缓冲。
为解决数据不平衡问题，我们提出了一种基于类别的记忆检索方法，通过采用无放回的类别级采样策略。该方法首先通过无放回的类别级采样确定需要检索的类别，再选择特定样本进行重放训练。已检索过的类别将不再重复采样，从而确保所有已见类别都能被有效覆盖，并通过选择具有代表性的样本加入重放训练。
CoPE（德朗格与图伊特拉尔斯，2021）和ER（罗尔尼克等人，2019）在MemoryUpdate中采用了储层采样技术（维特，1985），以实现对持续数据流的高效处理。然而，分布中概率质量较小的次要模式可能无法在重放缓冲区中完整呈现。为此，GSS（阿尔琼迪、林、古贾德与本吉奥，2019）将GEM（洛佩兹-帕兹与兰扎托，2017）的约束优化框架拓展至实例级层面。当前MemoryUpdate面临的挑战在于如何筛选出最佳存储样本（高、阿斯科利与赵，2021；伊塞勒与科斯贡，2018）。
为筛选最具代表性的样本纳入重放缓冲区，我们提出基于类别均值近似的记忆更新方法。在重放缓冲区中，模型正确分类的训练样本在潜在空间中能更精准地反映类别边界特征。相较于错误分类样本，这些正确分类样本更接近原型——即训练样本的类别均值，该原型在训练过程中会持续更新。通过重放缓冲区中正确分类样本的持续引入，模型在学习新类别时能更好地保留已掌握的类别核心知识。该方法通过区分正确分类样本与错误分类样本，对输入样本进行迭代评估，并选择性替换错误分类样本，从而提升重放缓冲区对整体训练样本的近似效果。
鉴于在线增量学习场景更适用于现实世界系统，我们提出了一种名为交叉熵对比式回放（Cross-entropy Contrastive Replay，CeCR）的新型在线持续学习方法。该方法融合了类均值近似记忆更新和类聚焦记忆检索两大核心机制。损失函数对模型参数的最优学习起着关键作用。现有研究多采用交叉熵损失函数仅评估真实类别的预测置信度，这种做法在在线增量学习场景中难以有效保留已学知识。LUCIR(Hou, Pan, Loy, Wang, & Lin, 2019)在损失函数中引入了额外项以防止灾难性遗忘，但这种方法计算复杂度较高。为此，我们提出交叉熵对比损失（CeCL），该方法通过评估真实类别与非真实类别的置信度，有效引导样本在潜在空间中向对应真实标签靠拢，同时远离其他标签。通过在对比学习领域常用的两个基准数据集上进行大量实验，我们证明CeCR相较于当前最先进的持续学习方法具有竞争力甚至优势，尤其在内存缓冲区容量较小时表现更为突出。
本文的主要贡献如下。
- 我们提出了一种新的记忆检索方法，该方法利用类级别的无放回采样来确定要检索的类别。该方法可以有效地覆盖所有已见过的类别，并选择具有代表性的样本加入回放训练。
- 我们提出了一种新的记忆更新方法，可以正确区分错误分类的训练样本。错误分类的样本被选择性地替换为输入样本，因此重放集可以更好地近似整体训练样本。
- 我们提出交叉熵对比损失函数，通过引导样本向真实标签靠拢、远离其他标签，帮助模型在单次训练中掌握更扎实的知识，从而有效避免遗忘。
本文结构安排如下：第二部分重点探讨相关研究，特别是基于回放方法的里程碑成果；第三部分通过详细阐述三个核心组件，提出在线持续学习方法；第四部分通过实验结果验证所提方法的优越性；最后在第五部分对全文进行总结。
2.相关工作
持续学习系统能通过有限资源从具有严重分布偏移的无限数据流中进行学习（Mai等人，2022）。当前持续学习方法可分为三大类：重放方法、正则化方法和参数隔离方法。
基于正则化的方法 基于正则化的方法通过约束网络中某些关键参数的更新，有效缓解了灾难性遗忘问题(Aljundi, Babiloni, Elhoseiny, Rohrbach, & Tuytelaars, 2018; Chaudhry, Ranzato, Rohrbach, & Elhoseiny, 2018; Fini, Lathuiliere, Sangineto, Nabi, & Ricci, 2020; Yang et al., 2022;Zenke et al., 2017)。
参数隔离方法 参数隔离方法通过调整网络架构（采用固定或动态方式），利用不同参数组合来应对各类任务需求(Mallya et al., 2018; Mallya & Lazebnik, 2018; Rajasegaran, Hayat, Khan, Khan, & Shao, 2019; Rajasegaran, Khan, Hayat, Khan, & Shah, 2020)。
基于回放的方法 基于回放的方法会部署一个固定内存缓冲区，用于存储少量先前任务的数据子集，并在训练新任务时回放这些存储数据(Atkinson, McCane, Szymanski, & Robins, 2021; Isele & Cosgun, 2018; Wu et al., 2018)。在过去的几年中，有一些伟大的和经典的基于重放的模型。iCaRL(Rebuffi et al., 2017)采用优先队列机制存储重放缓冲样本，这些样本能最优地表征潜在空间中的特征分布。该算法通过迭代方式选择样本放入重放缓冲集，并计算原型样本与重放缓冲集类别均值之间的距离。当超过设定阈值时，iCaRL会舍弃队列末尾的多个样本。类似的优先级构建方法也被应用于Herding(Welling, 2009)中，用于从分布中生成具有代表性的样本集。DGR(Shin, Lee, Kim, & Kim, 2017)则采用双模型架构，由深度生成模型和任务求解器组成。其中深度生成模型能够编码先前任务的信息，并生成高质量样本。
近期研究聚焦于在线持续学习（OCL）这一更贴近实际应用场景的框架。在OCL框架下，基于回放的方法在克服灾难性遗忘方面表现更优。值得注意的是，当前针对回放式OCL方法的研究主要集中在两大核心流程：记忆检索与记忆更新(Gao et al., 2021)。
在MemoryRetrieval领域，ER方法（Rolnick等人，2019）采用随机抽样策略选择待重放样本。CoPE方法（De Lange与Tuytelaars，2021）通过从缓冲区随机检索来模拟独立同分布重放批次的抽样过程，其缓冲区总容量按观测类别数均分。这种随机抽样虽然效率高，但无法确保有效样本的选取。为解决这一问题，MIR方法（Aljundi、Belilovsky等人，2019）提出了一种基于损失函数的先进储层检索方案。该方法通过随机抽样生成记忆子集，再根据输入批次更新虚拟模型时损失值的增加程度对子集样本进行评分。然而，损失值显著增加的样本在潜在空间中往往具有相似性，导致检索结果出现冗余。ASER方法（Shim等人，2021）则提出对抗性Shapley（AS）记忆检索策略，该方法在重放集中选取两类样本：第一类是与输入样本邻近但标签不同的样本，这类样本有助于模型学习当前类别与已知类别的差异；第二类是能代表记忆中样本特征的样本，这类样本帮助模型在潜在空间中保留已知类别的决策边界。
在MemoryUpdate领域，ER采用水库采样技术将样本存储到回放集中。样本存储时遵循相同概率𝑀/𝑁分配规则，其中𝑀代表回放集容量，𝑁为候选样本数量。CoPE通过将回放集总容量均分给已见类别数量，确保所有类别回放集容量均衡。每个类别专属回放集随机捕获其父类分布的子集，并在潜在空间中近似其中心点。虽然随机存储样本效率高，但无法将代表性样本纳入回放集。Aljundi、Kelchtermans和Tuytelaars（2019）提出了一种无任务在线持续学习方法，通过构建包含困难样本的回放集来实现学习目标。