GPT-NeoX-20B: Открытая авторегрессивная языковая модель
GPT-NeoX-20B: An Open-Source Autoregressive Language Model
2022-01-01
SCID: 54.1/k9xvvsje
Discuss with AI
воркшоп BigScienceGPT-NeoX-20Bбольшие языковые моделивыпуск модели 2022открытая автопрегрессивная языковая модель
Figures from the paper
Abstract (AI)
Сидни Блэк, Стелла Бидерман, Эрик Холлахан, Квентин Энтони, Лео Гао, Лоренс Голдинг, Хорас Хе, Коннор Лихи, Кайл МакДоннелл, Джейсон Фанг, Майкл Пилер, Усвсн Саи Прашант, Шиваншу Пурохит, Лария Рейнольдс, Джонатан Тоу, Бен Ванг, Самуэль Уайнбах. Материалы BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models. 2022.
Key Findings
1
GPT-NeoX-20B предложен как свободно доступная альтернатива проприетарным крупным языковым моделям, что поддерживает воспроизводимые исследования и расширяет доступ.
2
В статье представлен GPT-NeoX-20B — открытая авторегрессионная языковая модель с 20 миллиардами параметров.
3
Работа описывает проектирование и реализацию крупномасштабного авторегрессионного трансформера, обученного и выпущенного коллективом авторов.
Research Object
Авторегрессионная языковая модель GPT-NeoX-20B
Research Subject
Проектирование, реализация и оценка открытой авторегрессионной языковой модели с 20 миллиардами параметров
Publication Details
Publication Date
2022-01-01
Journal
Publisher
ISSN
Cited by
410
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest