Диагностика непериодических аномалий при выполнении политик обучения с подкреплением (краткое сообщение)

Из-за рисков для безопасности и неэффективного использования обучающих выборок контроллеры часто предпочтительно разрабатывать в симуляции. Однако небольшие различия между симуляцией и реальным миром могут приводить к значительному разрыву между симуляцией и реальностью, снижая эффективность разработанного контроллера. В данной работе рассматривается пример переноса контроллера октокоптера, основанного на обучении с подкреплением, из симуляции в реальный мир. Сначала эффективность переноса в реальный мир оценивается с использованием показателей безопасности. Установлено, что, хотя во время реальных полётов наблюдается заметное увеличение отклонения (примерно на 100%), это отклонение может не считаться опасным, поскольку оно остаётся в пределах коридоров безопасности > 2 м. Затем оцениваются плотности распределений измерений и сравниваются дивергенции Йенсена—Шеннона для смоделированных и реальных измерений. Показано, что ориентация аппарата существенно различается в симулированных и реальных полётах. Это связывается с иным режимом полёта в реальных условиях, при котором аппарат разворачивается лицом к следующей путевой точке. Также установлено, что действия контроллера обучения с подкреплением, по-видимому, корректно компенсируют возмущающие силы. Далее анализируются ошибки автоэнкодера измерений и нейронной сети модели переходов состояний, применённых к реальным данным. Обнаружено, что эти модели дополнительно подтверждают различие между управлением ориентацией в симуляции и в реальности, демонстрируя ошибки непосредственно на траекториях полёта. В заключение обсуждаются важные выводы, полученные при переносе контроллера из симуляции в реальный мир.