mixup: За пределами эмпирической минимизации риска

Большие глубокие нейронные сети мощны, но демонстрируют нежелательное поведение, такое как запоминание и чувствительность к adversarial-примерам. В данной работе мы предлагаем mixup — простой принцип обучения для смягчения этих проблем. По сути, mixup обучает нейронную сеть на выпуклых комбинациях пар примеров и их меток. Таким образом mixup регуляризует нейронную сеть, заставляя её предпочитать простое линейное поведение между обучающими примерами. Наши эксперименты на наборах данных ImageNet-2012, CIFAR-10, CIFAR-100, Google Commands и UCI показывают, что mixup улучшает обобщающую способность современных архитектур нейронных сетей. Мы также обнаруживаем, что mixup снижает запоминание искажённых меток, повышает устойчивость к adversarial-примерам и стабилизирует обучение генеративно-состязательных сетей.