Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
2021-10-01
SCID: 54.1/pxmpq2k7
Discuss with AI
обучение на ImageNet с нуляT2T-ViTTokens-to-Token Vision Transformerглубокая узкая архитектура трансформерапошаговая трансформация Tokens-to-Token
Figures from the paper
Abstract (AI)
Трансформеры, популярные в языковом моделировании, недавно начали применяться для решения задач компьютерного зрения, например Vision Transformer (ViT) для классификации изображений. Модель ViT разбивает каждое изображение на последовательность токенов фиксированной длины и затем применяет несколько слоев трансформера для моделирования их глобальных взаимосвязей для задачи классификации. Однако ViT демонстрирует худшую производительность по сравнению с сверточными нейронными сетями (CNN), когда обучается с нуля на средних по размеру наборах данных, таких как ImageNet. Мы установили, что это происходит потому, что: (1) простая токенизация входных изображений не моделирует важную локальную структуру, такую как грани и линии между соседними пикселями, что приводит к низкой эффективности использования обучающих примеров; и (2) избыточная архитектура внимания в ViT ограничивает богатство признаков при фиксированных вычислительных ресурсах и ограниченном количестве обучающих примеров. Чтобы преодолеть эти ограничения, мы предлагаем новый Tokens-to-Token Vision Transformer (T2T-ViT), который включает: (1) покадровое преобразование Tokens-to-Token (T2T) для поэтапной структуризации изображения в токены путем рекурсивного аггрегирования соседних токенов в один токен, благодаря чему можно моделировать локальную структуру, представляемую окружением токенов, и уменьшать длину последовательности токенов; и (2) эффективный бэκбон с глубокой и узкой структурой для визуальных трансформеров, мотивированный дизайном CNN после эмпирического исследования. Примечательно, что T2T-ViT сокращает число параметров и MACs по сравнению с базовым ViT вдвое, при этом достигает более чем на 3.0% лучшей точности при обучении с нуля на ImageNet. Он также превосходит ResNet и демонстрирует сопоставимую производительность с MobileNet при прямом обучении на ImageNet. Например, T2T-ViT сопоставимого размера с ResNet-50 (21.5M параметров) может достигать 83.3% top-1 точности при разрешении изображения 384x384 на ImageNet.
Key Findings
1
Введена эффективная глубокая-узкая архитектура для визуальных трансформеров, вдохновленная дизайном CNN, повышающая богатство признаков при фиксированных вычислениях.
2
Предложенная трансформация Tokens-to-Token (T2T) постепенно агрегирует соседние токены для захвата локальной структуры изображения и сокращения длины токенов.
3
T2T-ViT сокращает вдвое число параметров и MAC по сравнению с vanilla ViT и при этом обеспечивает более чем на 3.0% лучшее качество при обучении с нуля на ImageNet.
4
T2T-ViT превосходит ResNets и сопоставим с MobileNets при прямом обучении на ImageNet; T2T-ViT с 21.5M параметров достигает 83.3% top-1 точности при разрешении 384x384.
5
Vanilla ViT работает хуже, чем CNN при обучении с нуля на средних наборах данных вроде ImageNet из-за плохого моделирования локальной структуры и избыточного дизайна внимания.
Research Object
Модель Tokens-to-Token Vision Transformer (T2T-ViT) для классификации изображений, обучаемая с нуля на ImageNet
Research Subject
Улучшение качества обучения с нуля для задачи классификации изображений за счёт поэтапной агрегации локальной структуры изображения в токены (покомерная трансформация Tokens-to-Token) и использования эффективного глубокого узкого бэкбона для снижения числа параметров/MACs и повышения точности на ImageNet
Publication Details
Publication Date
2021-10-01
Journal
Publisher
ISSN
Cited by
2409
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai16
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
ImageNet: крупномасштабная иерархическая база изображений2009
Сети Squeeze-and-Excitation2018
Переосмысление архитектуры Inception для компьютерного зрения2016
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Дистилляция знаний в нейронной сети2015
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Нелокальные нейронные сети2018
mixup: За пределами эмпирической минимизации риска2017
Point Transformer2021
Предобученный трансформер для обработки изображений2021
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью16
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Pyramid Vision Transformer: универсальный бэкоун для плотного предсказания без свёрток2021
Restormer: эффективный Transformer для восстановления изображений высокого разрешения2022
Механизмы внимания в компьютерном зрении: обзор2022
PVT v2: Улучшённые базовые модели с Pyramid Vision Transformer2022
CrossViT: мультишкальный визуальный трансформер с перекрёстным вниманием для классификации изображений2021
CSWin Transformer: универсальный визуальный трансформер с перекрёстными окнами2022
Vision Transformers для удаления тумана с одиночного изображения2023
AST: Трансформер аудиоспектрограммы2021
Масштабирование Vision Transformer2022
CMT: сверточные нейронные сети встречаются с визуальными трансформерами2022
Transformer in Transformer2021
ChatGPT и модели OpenAI: предварительный обзор2023
SSAST: аудиоспектрограммный трансформер с самоконтролируемым обучением2022
RenAIssance: Обзор генерации изображений по тексту на основе ИИ в эпоху больших моделей2024
Внимательные импульсные нейронные сети2023