Законы масштабирования нейронных языковых моделей

Scaling Laws for Neural Language Models
Alec Radford, Tom Henighan, Dario Amodei, Sam McCandlish, Jared Kaplan A, Jeffrey Wu, T. B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Tom Henighan, Brown, Tom B.
2020-01-23

интервенции в агентном ИИисполняемые нижние сертификатыразвертывание на фронтирном масштабенейронные языковые моделитеория транспортной валидности
В статье разрабатывается теория транспортной валидности для интервенций в агентном искусственном интеллекте, которые сначала проходят проверку на малых системах, а затем рассматриваются для развертывания на передовом масштабе. Вместо предсказания абсолютной производительности на передовом масштабе исследуется вопрос о том, в каких случаях сравнительное преимущество, наблюдаемое на малом масштабе, может быть перенесено без необоснованных выводов. Анализ охватывает явно ограниченный класс операционно изолируемых интервенций, эффекты которых могут быть скомпилированы из журналируемых событийно-локальных каналов с ограниченным распространением побочных эффектов и воспроизводимыми картами извлечения. В статье доказываются структурированные режимы отказа наивной экстраполяции, включая смену знака при изменении весов узких мест и содержательную пустоту наблюдаемой близости, когда дескриптор не содержит координату, значимую для знака. Далее разрабатывается конструктивная положительная основа, опирающаяся на исполнимые нижние сертификаты: двухэтапную архитектуру компилятора, воспроизводимые множества идентификации для законов режимов первого этапа, аудиты роста языка дескрипторов, транспортные сертификаты покрытия свидетелями, локальные для ветвей мосты оценки, правила аудита с калибровкой по уровню доверия и распределение передового вычислительного бюджета на уровне портфеля с учетом риска взаимодействий. Результатом является конечная, машиночитаемая и операционная структура для определения того, какие архитектурные улучшения малого масштаба — такие как декомпозиция, маршрутизация инструментов, политика памяти, сопряжение с верификатором, оркестрация и родственные интервенции на этапе вывода — заслуживают дорогостоящих испытаний на передовом масштабе, а также того, как следует распределять ограниченный передовой бюджет между ними. В статье не утверждается существование закона, описывающего сроки создания общего искусственного интеллекта (AGI), и не устраняется необходимость экспериментов на передовом масштабе; утверждение носит более узкий и практический характер: предложить воспроизводимые и опровергаемые условия для ответственного принятия решений о масштабировании в исследованиях агентного искусственного интеллекта.
1
Введены исполнимые нижние сертификаты, включая воспроизводимые множества идентификации, аудиты расширения языка дескрипторов, сертификаты переноса на основе покрытия свидетелями, локальные для ветвей мосты оценки и правила аудита с калибровкой уверенности.
2
Показано, что наивная экстраполяция может давать сбой из-за инверсии знака при изменении весов узких мест и из-за пустотности наблюдаемой близости, если дескрипторы не содержат координату, определяющую знак эффекта.
3
Предложенная теория предназначена для операционально изолируемых вмешательств с журналируемыми событийно-локальными каналами, ограниченным распространением эффектов и воспроизводимыми картами извлечения.
4
Работа разрабатывает теорию транспортной валидности для определения того, когда сравнительные преимущества агентных ИИ-вмешательств, выявленные на малом масштабе, оправдывают испытания на передовом масштабе.
5
Получившаяся конечная машиночитаемая система поддерживает фальсифицируемые решения о масштабировании и распределение ограниченного передового бюджета между вмешательствами, сохраняя необходимость экспериментов на передовом масштабе.

операционально изолируемые вмешательства в агентный ИИ, оцениваемые на маломасштабных системах для развертывания на передовом масштабе

транспортная валидность сравнительных улучшений при масштабировании, включая режимы отказа, исполнимые нижние сертификаты и распределение передового вычислительного бюджета

Publication Details
Publication Date
2020-01-23
Journal
Publisher
ISSN
Cited by
1753
Access Type
Author Information
Authors
Alec Radford
Tom Henighan
Dario Amodei
Sam McCandlish
Jared Kaplan A
Jeffrey Wu
T. B. Brown
Benjamin Chess
Rewon Child
Scott Gray
Tom Henighan
Brown, Tom B.
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%