Преодоление катастрофического забывания в нейронных сетях
Overcoming catastrophic forgetting in neural networks
2017-03-14
SCID: 54.1/2ha6qzhb
Discuss with AI
игры Atari 2600катастрофическое забываниеклассификация рукописных цифрзамедление обучения важных весовпоследовательное обучение
Figures from the paper
Abstract (AI)
Способность последовательно обучаться новым задачам имеет решающее значение для развития искусственного интеллекта. До сих пор нейронные сети не могли этого обеспечить, и катастрофическое забывание широко считалось неизбежной особенностью коннекционистских моделей. Мы показываем, что эту ограниченность можно преодолеть и обучить сети, которые сохраняют экспертные навыки по задачам, которых они долго не испытывали. Наш подход сохраняет память о старых задачах за счёт селективного замедления обучения весов, важных для этих задач. Мы демонстрируем масштабируемость и эффективность подхода на наборе задач классификации на основе набора изображений рукописных цифр и при последовательном обучении нескольким играм Atari 2600.
Key Findings
1
Нейронные сети можно обучать последовательно без катастрофического забывания, выборочно замедляя обучение весов, важных для предыдущих задач.
2
Метод является масштабируемым и эффективным, что продемонстрировано последовательным изучением нескольких игр Atari 2600.
3
Метод является масштабируемым и эффективным, что продемонстрировано на последовательных задачах классификации набора рукописных цифр.
4
Предложенный подход позволяет сетям сохранять экспертность по задачам, которые они давно не встречали.
Research Object
Нейронные сети, обучаемые последовательно на нескольких задачах (классификация рукописных цифр и игры Atari 2600)
Research Subject
Смягчение катастрофического забывания путём выборочного замедления обучения весов, важных для ранее выученных задач, с целью сохранения производительности на старых задачах при обучении новым
Publication Details
Publication Date
2017-03-14
Journal
Publisher
ISSN
Cited by
7797
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью14
Непрерывное обучение на протяжении всей жизни с использованием нейронных сетей: обзор2019
О возможностях и рисках фундаментальных моделей2021
Обзор неопределённости в глубоких нейронных сетях2023
Обучение спайковых нейронных сетей с использованием достижений глубокого обучения2023
Цифровые двойники: современное состояние теории и практики, проблемы и открытые исследовательские вопросы2022
Глубокое обучение для обнаружения аномалий во временных рядах данных: обзор, анализ и рекомендации2021
Куда идёт искусственный интеллект?2022
Обзор мультиагентных систем на основе больших языковых моделей: рабочий процесс, инфраструктура и проблемы2024
Искусственный интеллект с непрерывным обучением в радиологии: принципы внедрения и первые применения2020
Смещение обобщения при суммаризации научных исследований большими языковыми моделями2025
Построение графов знаний: современное состояние и проблемы2024
Перегруженные сознание и машины: когнитивно-нагрузочная модель симбиоза человека и ИИ2026
Связь между теорией города и искусственным интеллектом: мультиагентная рекомендательная система для устойчивого развития городов2026
Надёжный агентный искусственный интеллект: режимы отказа, стратегии смягчения рисков и жизненный цикл автономных систем на основе больших языковых моделей2026