type
status
date
slug
summary
tags
category
icon
password
本文摘抄整理自《Do Generated Data Always Help Contrastive Learning？》
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
面对这一处境，一个近期的研究热度是，能否利用生成模型生成的假数据来辅助学习？学界对此也产生了许多争论：到底是可以左脚踩右脚（bootsrap）地实现 weak-to-strong 的不断提升，还是像鸡生蛋、蛋生鸡一样，只不过是徒劳无功？
本文针对对比学习（如 SimCLR、DINO、CLIP）这一常见的自监督学习场景，从理论和实验两方面分析了生成数据对于表示学习能力的影响。为了控制变量，他们保证生成模型和表示学习都只能使用同一个（无监督）真实数据集进行训练，避免了扩充数据本身带来的收益。
他们发现，在这种情况下，生成数据并不总是对表示学习有帮助，在很多情况下甚至有害。比如，将 DDPM 的数据直接加入 CIFAR-10 训练，反而导致分类准确率下降超过 1%（前人工作 [1] 也有类似发现：用生成数据扩充 ImageNet 后 ResNet-50 的分类准确率下降了 2.69%）。进一步分析表明，有两个关键因素影响了生成数据的收益：
1. 真实数据和生成数据的比例。从人的角度来看，生成数据似乎以假乱真，但对于模型训练而言并非如此。他们发现，真实数据与生成数据的混合比例在 10：1 附近时达到最优，也就是说，1 个真实数据的「训练价值」约等于 10 个生成数据。这侧面说明了二者的差异。
2. 训练策略的设计。他们发现，在使用生成数据进行训练时，如果维持原有的训练参数，则模型几乎没有提升。相反，如果随着数据集的扩充，而相应降低模型训练所使用的数据增广的强度，则可以获得显著提升。
针对这两个核心观察，本文还从自监督理论出发，解释了他们内在的产生原因，并进而分析了数据量、数据质量与数据增广强度之间的权衡取舍。
真实数据与生成数据的「训练价值」
数据扩充最直观的一个影响因素是生成数据的质量问题。图 2（a）表明，生成数据质量越高，对比学习的下游泛化能力越好，但遗憾的是即使是目前的 SOTA 生成模型 STF，也只让模型的 Linear Accuracy（在特征上应用线性分类器的分类准确率）比此前仅上升 0.02%。
由于真实图片包含更丰富、准确的信息，因此扩充后的数据集中真实数据和生成数据的地位不应该相同。本文研究通过在混合时对真实数据复制 N 倍的方式，对真实数据和生成数据进行重加权（Reweighting）。
图 2（b）表明，混合比例在 10：1 时达到最优（weak augmentation）。本文进一步从理论上分析了重加权的作用，在此不做展开。
如何权衡数据增广与数据扩充？
在对比学习中，数据增强（Data Augmentation）的选取至关重要。通常来说，自监督学习需要使用较强的数据增强（如裁切、掩码等）来学习的数据表示。为了区分，本文将生成数据视为数据扩充（Data Inflation），二者的区别是，数据扩充是扩大原始数据集的大小，而数据增广是对每个原始样本，在训练过程中进行随机增强。
直观上看，数据扩充和数据增广都会提升数据多样性但数据增广可能会改变图像的语义信息（右图），因此当数据扩充提供了足够的数据时，便可以减弱数据增广从而减小因图像语义信息的改变带来的误差。
本文发现：数据扩充和数据增强在对比学习中存在互补作用，当数据扩充后，对应的最优数据增广强度减小。
最重要的两个指导原则是：
- 真实数据和生成数据需赋予不同权重，生成数据质量越差权重应该越小；
- 数据量增大后，应该减弱数据增广强度，减少数据增强的负面作用。
