Нелокальные нейронные сети

Non-local Neural Networks
Kaiming He, Xiaolong Wang, Abhinav Gupta, Ross Girshick
2018-06-01
SCID:  54.1/7h8u7gnx Discuss with AI
COCOдатасет COCOCharadesдатасет CharadesKineticsдатасет Kineticsдлиннодействующие зависимостине локальные средниенелокальные нейронные сетинелокальная операциянелокальные операцииобнаружение объектовоценка позысегментациявидео-классификация
Abstract (AI)
Как сверточные, так и рекуррентные операции являются строительными блоками, которые обрабатывают по одному локальному окну за раз. В этой работе мы представляем нелокальные операции как общий класс строительных блоков для захвата дальнодействующих зависимостей. Вдохновлённая классическим методом non-local means в компьютерном зрении, наша нелокальная операция вычисляет отклик в заданной позиции как взвешенную сумму признаков по всем позициям. Этот строительный блок можно интегрировать во многие архитектуры компьютерного зрения. В задаче классификации видео даже без каких-либо ухищрений наши нелокальные модели могут соперничать с текущими победителями соревнований или превосходить их на наборах данных Kinetics и Charades. В задаче распознавания статичных изображений наши нелокальные модели улучшают обнаружение объектов, сегментацию и оценку поз на наборе задач COCO. Код доступен по адресу https://github.com/facebookresearch/video-nonlocal-net.
Key Findings
1
Для статических изображений нелокальные модели улучшают детекцию объектов и сегментацию на бенчмарке COCO.
2
Для статических изображений нелокальные модели улучшают оценку поз на бенчмарке COCO.
3
Введены нелокальные операции как универсальный строительный блок для захвата дальнодействующих зависимостей, вычисляющий отклик в позиции как взвешенную сумму по всем позициям.
4
В задачах статического распознавания изображений нелокальные модели улучшают детекцию объектов, сегментацию и оценку поз на наборе задач COCO.
5
Для задачи классификации видео нелокальные модели могут конкурировать с победителями соревнований или превосходить их на датасете Charades без дополнительных ухищрений.
6
В задаче классификации видео нелокальные модели могут соперничать с победителями соревнований или превосходить их на наборах данных Kinetics и Charades даже без дополнительных уловок.
7
Для задачи классификации видео нелокальные модели могут конкурировать с победителями соревнований или превосходить их на датасете Kinetics без дополнительных ухищрений.
8
Авторы публикуют реализацию кода в открытом доступе в указанном репозитории GitHub.
9
Авторы предоставляют код реализации нелокальных нейронных сетей в указанном репозитории GitHub.
10
Нелокальный блок вдохновлен методом non-local means в компьютерном зрении и может быть встроен во многие архитектуры компьютерного зрения.
11
Нелокальный блок вдохновлен классическим методом non-local means и может быть внедрен в многие архитектуры компьютерного зрения.
Research Object

Нелокальные операции (блок построения нелокальной нейронной сети), применяемые в архитектурах компьютерного зрения для задач видео- и изображений

Research Subject

Способность нелокальной операции захватывать дальнодействующие зависимости и повышать качество (классификация видео, детекция/сегментация объектов, оценка позы) при интеграции в стандартные свёрточные/рекуррентные архитектуры

Publication Details
Publication Date
2018-06-01
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Kaiming He
Xiaolong Wang
Abhinav Gupta
Ross Girshick
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%