Benchmark and Result of Incremental Learning（持续更新中）

一、Benchmark

Setting

增量学习（Incremental Learning）有两种设置：Task incremental (TI) setting 和Class incremental (CI) setting

task incremental（TI） setting（任务增量）

这个设置有两个特征

• 每次增加的类别是来自新的数据集
• 测试的时候，是在不同的数据集上独立测试的。因此，这个测试方法也叫multi-headed evaluation

class incremental（CI） setting（类别增量）

任务增量其实存在几点不合理的地方，即每次需要有很强的oracle knowledge（指的是上帝视角），每次我必须知道一个类别属于哪个数据集方可进行测试，因此，提出了更具有现实意义的类别增量设置，其特征是

• 每次增加的类别是来自相同的数据集
• 测试的时候，是在所有的已见到的类别上测试的。因此，这个测试方法也叫single-headed evaluation

whether use base class data（是否使用base类别的数据）

目前增量学习还有一层设置是关于是否使用base类别的数据（也就是已经被训练的数据），有些方法会完全摒弃掉base类别的数据，有些方法会保留一小部分的base类别的数据，保留数据的方法也有两种：

fixed overall capacity（FIXED）

即所有的base类别的数据的总和是一个固定的数量$K$，因此，随着增量的类别越来越多，每个base类别能保留的数量就越来越少，导致了这种设置每个类别保留的数据数量在不同阶段可能是不一样的。

constant（CONSTANT）

即每个base类别均只保留$K$个样本，而且不同的阶段的样本数量$K$保持不变。但这也有一个潜在的问题就是，当增量的类别不断增多，消耗的内存空间就会越来越大。

Dataset

TI dataset

LwF针对TI setting提出了一个数据集，本文统称之为TI 数据集。old task（也有叫base category）包括ILSVRC2012和Places365-standard， new task包括了VOC（PASCAL VOC 2012 image classificatio）、CUB（Caltech-UCSD Birds-200-2011 fine-grained classifi- cation）、Scenes（MIT indoor scene classification）和MNIST。

数据集信息

数据集	类别数	训练图片数
ILSVRC2012	1000	>120w
Places365	365	~160w
VOC	20	5717
CUB	200	5994
Scenes	67	5360
MINIST	10	6W

在这个设置下，测试的指标就是在各个数据集上的准确率。值得注意的是，old task和new task均只选择一个数据集，然后组合出多组的old-new task进行测试。

CI dataset

iCaRL针对CI setting，提出了两个新的数据集

iCIFAR-100

采取CIFAR-100数据集的100类数据，设置增量大小（batch，即每次增加的类别数量）为2,5,10,20,50

iILSVRC

采取ILSVRC2012的数据，考虑两种设置：

• iILSVRC-small：只用ILSVRC2012中的100类数据，batch为10
• iILSVRC-large：只用ILSVRC2012中的所有1000类数据，batch为100

准确率采取top-5准确率，呈现的指标或者结果有两种：

• 增量曲线：每次增加类别后都能得到一个新的准确率，将所有的准确率以及类别数画成一个折线图(如下图)
• 平均增量准确率：即将上述的准确率进行平均，得到一个值作为平均增量准确率
  

二、Result

本文主要关注CI setting，所以暂时只展示这一部分的结果。

目前，在增量学习中，大多的结果会以折线图的形式展示，因此无法获取具体的数值。