Кэшированная модель как ресурс: предоставление агентов больших языковых моделей для периферийного интеллекта в интегрированных космическо-воздушно-наземных сетях

Периферийный интеллект в интегрированных космическо-воздушно-наземных сетях (SAGIN) может обеспечить глобальное сетевое покрытие, не ограниченное географическими рамками, позволяя пользователям получать повсеместные интеллектуальные сервисы с малой задержкой. Учитывая глобальный охват и сложную среду SAGIN, периферийный интеллект может предоставлять пользователям агентов больших языковых моделей (LLM) посредством периферийных серверов на наземных базовых станциях (BS) или облачных центров обработки данных, доступ к которым обеспечивается через спутники. Поскольку LLM с миллиардами параметров предварительно обучаются на обширных наборах данных, агенты LLM обладают возможностями обучения по небольшому числу примеров, включая подсказки с рассуждением по цепочке (CoT) для решения сложных задач, что порождает новый компромисс между потреблением ресурсов и производительностью в SAGIN. В этой работе предлагается совместная платформа кэширования и вывода для периферийного интеллекта, предназначенная для предоставления устойчивых и повсеместно доступных агентов LLM в SAGIN. Вводится концепция «кэшированной модели как ресурса» для предоставления LLM с ограниченными контекстными окнами, а также предлагается новая оптимизационная платформа — совместное кэширование моделей и выполнение вывода — для использования ресурсов кэшированных моделей при предоставлении сервисов агентов LLM наряду с ресурсами связи, вычислений и хранения. Разрабатывается показатель «возраст рассуждения» (AoT), учитывающий использование подсказок CoT для LLM, и предлагается алгоритм замены кэшированных моделей с минимальным AoT для оптимизации стоимости предоставления сервисов. Предлагается аукцион с модифицированной второй ценой ставки на основе глубокой Q-сети (DQMSB) для стимулирования операторов спутниковых и наземных сетей в реальном времени. Предложенный аукцион повышает эффективность распределения ресурсов на 23%, одновременно обеспечивая стратегическую правдивость и отсутствие неблагоприятного отбора.