Непрерывное обучение в робототехнике: определение, структура, стратегии обучения, возможности и проблемы

Непрерывное обучение (continual learning, CL) представляет собой особую парадигму машинного обучения, в которой распределение данных и цель обучения изменяются со временем либо все обучающие данные и критерии целевой функции никогда не доступны одновременно. Эволюция процесса обучения моделируется последовательностью обучающих ситуаций, цель которой заключается в том, чтобы на протяжении всей последовательности осваивать новые навыки, не забывая ранее приобретённые. Непрерывное обучение можно рассматривать как онлайн-обучение, при котором необходимо объединять знания, чтобы учиться на потоках данных, последовательно поступающих во времени. Кроме того, непрерывное обучение направлено на одновременную оптимизацию объёма памяти, вычислительных ресурсов и скорости в процессе обучения. Важная проблема машинного обучения заключается не столько в поиске решений, работающих в реальном мире, сколько в разработке стабильных алгоритмов, способных обучаться в реальном мире. Поэтому идеальным подходом было бы взаимодействие с реальным миром на воплощённой платформе — автономном агенте. В таком случае непрерывное обучение могло бы эффективно реализовываться в автономном агенте или роботе, который самостоятельно обучался бы в течение времени, познавая внешний мир и постепенно развивая набор сложных навыков и знаний. Роботизированные агенты должны учиться адаптироваться к окружающей среде и взаимодействовать с ней, используя непрерывный поток наблюдений. Некоторые современные подходы направлены на решение задач непрерывного обучения в робототехнике, однако в большинстве последних работ по непрерывному обучению рассматриваются подходы, проверяемые только в симуляции или на статических наборах данных. К сожалению, оценка этих алгоритмов не позволяет понять, могут ли предлагаемые решения способствовать непрерывному обучению в контексте робототехники. В статье рассматривается современное состояние исследований в области непрерывного обучения, обобщаются существующие наборы тестов и метрики, а также предлагается структура для представления и оценки подходов в робототехнике и вне её, облегчающая перенос методов между этими областями. В работе освещается непрерывное обучение в контексте робототехники...