Преодоление катастрофического забывания в нейронных сетях

Способность последовательно обучаться новым задачам имеет решающее значение для развития искусственного интеллекта. До сих пор нейронные сети не могли этого обеспечить, и катастрофическое забывание широко считалось неизбежной особенностью коннекционистских моделей. Мы показываем, что эту ограниченность можно преодолеть и обучить сети, которые сохраняют экспертные навыки по задачам, которых они долго не испытывали. Наш подход сохраняет память о старых задачах за счёт селективного замедления обучения весов, важных для этих задач. Мы демонстрируем масштабируемость и эффективность подхода на наборе задач классификации на основе набора изображений рукописных цифр и при последовательном обучении нескольким играм Atari 2600.