Законы масштабирования нейронных языковых моделей
Scaling Laws for Neural Language Models
2020-01-23
SCID: 54.1/yk582ph2
Discuss with AI
интервенции в агентном ИИисполняемые нижние сертификатыразвертывание на фронтирном масштабенейронные языковые моделитеория транспортной валидности
Figures from the paper
Abstract (AI)
В статье разрабатывается теория транспортной валидности для интервенций в агентном искусственном интеллекте, которые сначала проходят проверку на малых системах, а затем рассматриваются для развертывания на передовом масштабе. Вместо предсказания абсолютной производительности на передовом масштабе исследуется вопрос о том, в каких случаях сравнительное преимущество, наблюдаемое на малом масштабе, может быть перенесено без необоснованных выводов. Анализ охватывает явно ограниченный класс операционно изолируемых интервенций, эффекты которых могут быть скомпилированы из журналируемых событийно-локальных каналов с ограниченным распространением побочных эффектов и воспроизводимыми картами извлечения. В статье доказываются структурированные режимы отказа наивной экстраполяции, включая смену знака при изменении весов узких мест и содержательную пустоту наблюдаемой близости, когда дескриптор не содержит координату, значимую для знака. Далее разрабатывается конструктивная положительная основа, опирающаяся на исполнимые нижние сертификаты: двухэтапную архитектуру компилятора, воспроизводимые множества идентификации для законов режимов первого этапа, аудиты роста языка дескрипторов, транспортные сертификаты покрытия свидетелями, локальные для ветвей мосты оценки, правила аудита с калибровкой по уровню доверия и распределение передового вычислительного бюджета на уровне портфеля с учетом риска взаимодействий. Результатом является конечная, машиночитаемая и операционная структура для определения того, какие архитектурные улучшения малого масштаба — такие как декомпозиция, маршрутизация инструментов, политика памяти, сопряжение с верификатором, оркестрация и родственные интервенции на этапе вывода — заслуживают дорогостоящих испытаний на передовом масштабе, а также того, как следует распределять ограниченный передовой бюджет между ними. В статье не утверждается существование закона, описывающего сроки создания общего искусственного интеллекта (AGI), и не устраняется необходимость экспериментов на передовом масштабе; утверждение носит более узкий и практический характер: предложить воспроизводимые и опровергаемые условия для ответственного принятия решений о масштабировании в исследованиях агентного искусственного интеллекта.
Key Findings
1
Введены исполнимые нижние сертификаты, включая воспроизводимые множества идентификации, аудиты расширения языка дескрипторов, сертификаты переноса на основе покрытия свидетелями, локальные для ветвей мосты оценки и правила аудита с калибровкой уверенности.
2
Показано, что наивная экстраполяция может давать сбой из-за инверсии знака при изменении весов узких мест и из-за пустотности наблюдаемой близости, если дескрипторы не содержат координату, определяющую знак эффекта.
3
Предложенная теория предназначена для операционально изолируемых вмешательств с журналируемыми событийно-локальными каналами, ограниченным распространением эффектов и воспроизводимыми картами извлечения.
4
Работа разрабатывает теорию транспортной валидности для определения того, когда сравнительные преимущества агентных ИИ-вмешательств, выявленные на малом масштабе, оправдывают испытания на передовом масштабе.
5
Получившаяся конечная машиночитаемая система поддерживает фальсифицируемые решения о масштабировании и распределение ограниченного передового бюджета между вмешательствами, сохраняя необходимость экспериментов на передовом масштабе.
Research Object
операционально изолируемые вмешательства в агентный ИИ, оцениваемые на маломасштабных системах для развертывания на передовом масштабе
Research Subject
транспортная валидность сравнительных улучшений при масштабировании, включая режимы отказа, исполнимые нижние сертификаты и распределение передового вычислительного бюджета
Publication Details
Publication Date
2020-01-23
Journal
Publisher
ISSN
Cited by
1753
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью20
LLaMA: открытые и эффективные базовые языковые модели2023
Обзор больших языковых моделей2026
Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор2023
Большие языковые модели кодируют клинические знания2023
Масштабируемые диффузионные модели на базе трансформеров2023
Всесторонний обзор больших языковых моделей2025
Swin Transformer V2: увеличение ёмкости и разрешения2022
Генеративный ИИ на работе2024
BloombergGPT: большая языковая модель для финансов2023
Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор2023
Автономные химические исследования с использованием больших языковых моделей2023
Масштабирование Vision Transformer2022
Atlas: обучение в режиме few-shot с использованием языковых моделей, дополненных поиском2022
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Могут ли большие языковые модели преобразовать вычислительную социальную науку?2023
ChatDev: Коммуницирующие агенты для разработки программного обеспечения2024
Большие языковые модели для программной инженерии: обзор и открытые проблемы2023
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Генеративный искусственный интеллект в управлении цепочками поставок и операциями: рамочная модель на основе возможностей для анализа и внедрения2024
GPT-NeoX-20B: Открытая авторегрессивная языковая модель2022