Эффективное по коммуникациям распределённое обучение: обзор

Распределённое обучение рассматривается как основа сетей следующего поколения с элементами интеллекта, где интеллектуальные агенты, такие как мобильные устройства, роботы и датчики, обмениваются информацией друг с другом или с сервером параметров для совместной тренировки моделей машинного обучения без загрузки сырых данных в централизованное хранилище для обработки. Используя вычислительные и коммуникационные возможности отдельных агентов, парадигма распределённого обучения может снизить нагрузку на центральные процессоры и способствовать сохранению приватности данных пользователей. Несмотря на перспективность применений, недостатком распределённого обучения является необходимость итеративного обмена информацией по беспроводным каналам, что может привести к высокой коммуникационной нагрузке, неприемлемой во многих практических системах с ограниченными радиоресурсами, такими как энергия и пропускная способность. Для преодоления этого коммуникационного узкого места требуется разработка алгоритмов распределённого обучения, эффективных по коммуникациям, способных одновременно снижать затраты на передачу и обеспечивать удовлетворительную эффективность обучения и оптимизации. В данной статье представлен всесторонний обзор существующих подходов к эффективному по коммуникациям распределённому обучению, включая сокращение числа коммуникаций, сжатие и квантование обмениваемой информации, управление радиоресурсами для эффективного обучения и теоретико-игровые механизмы, стимулирующие участие пользователей. Также указаны потенциальные направления будущих исследований для дальнейшего повышения коммуникационной эффективности распределённого обучения в различных сценариях.