Оценка больших языковых моделей, обученных на коде
Evaluating Large Language Models Trained on Code
2021-07-07
SCID: 54.1/rdgg7ce4
Discuss with AI
CodexGPT-модель, дообученная на кодеHumanEvalсинтез программ из docstringсемплирование для генерации кода
Figures from the paper
Abstract (AI)
Мы представляем Codex, языковую модель GPT, дообученную на общедоступном коде с GitHub, и изучаем её возможности по написанию кода на Python. Отдельная производственная версия Codex используется в GitHub Copilot. На HumanEval, новом наборе для оценки, который мы публикуем для измерения функциональной корректности синтеза программ по docstring, наша модель решает 28.8% задач, тогда как GPT-3 решает 0%, а GPT-J — 11.4%. Более того, мы обнаружили, что повторная выборка из модели является удивительно эффективной стратегией для получения работающих решений на сложные запросы. С помощью этого метода мы решаем 70.2% задач при 100 сэмплах на задачу. Внимательное исследование модели выявляет её ограничения, включая затруднения с docstring, описывающими длинные цепочки операций, и с привязкой операций к переменным. Наконец, мы обсуждаем потенциальные широкие последствия внедрения мощных технологий генерации кода, включая вопросы безопасности, защиты и экономические аспекты.
Key Findings
1
У Codex есть ограничения: он испытывает трудности с docstring, описывающими длинные цепочки операций, и с привязкой операций к переменным.
2
Codex — это модель GPT, дообученная на общедоступном коде с GitHub, и использованная для исследования возможностей написания кода на Python.
3
На бенчмарке HumanEval Codex решает 28.8% задач, GPT-3 — 0%, а GPT-J — 11.4%.
4
Повторная выборка ответов эффективна: при 100 образцах на задачу Codex решает 70.2% задач HumanEval.
5
В статье обсуждаются более широкие последствия внедрения мощных технологий генерации кода, включая проблемы безопасности, защиты и экономики.
Research Object
Codex — языковая модель GPT, дообученная на публичном коде с GitHub (используемая для генерации Python‑кода)
Research Subject
Способности к генерации Python‑кода и функциональная корректность синтеза программ из докстрингов, включая показатели на бенчмарке HumanEval, стратегии многократной выборки, ограничения (например, описания длинных цепочек операций и привязка к переменным) и более широкие последствия развёртывания
Publication Details
Publication Date
2021-07-07
Journal
Publisher
ISSN
Cited by
1465
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Обзор методов оценки больших языковых моделей2024
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Обзор автономных агентов на основе больших языковых моделей2024
Всесторонний обзор больших языковых моделей2025
О возможностях и рисках фундаментальных моделей2021
Учёный ИИ: к полностью автоматизированному открытому научному поиску2024
Генеративный искусственный интеллект2023
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Обзор взаимодействия RAG и LLM: к большим языковым моделям с дополнением извлечённой информацией2024
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
ChatDev: Коммуницирующие агенты для разработки программного обеспечения2024
ChatGPT и рост крупных языковых моделей: новая угроза инфодемии, вызванной ИИ, для общественного здоровья2023
Большие языковые модели для программной инженерии: обзор и открытые проблемы2023
Роботы наступают: исследование влияния OpenAI Codex на обучение программированию для начинающих2022
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Расширение возможностей биомедицинских исследований с помощью ИИ-агентов2024
Исследование интеллектуальных агентов на основе больших языковых моделей: определения, методы и перспективы2026
Повышение эффективности больших языковых моделей с дополнением посредством извлечения данных за счёт итеративного взаимодействия извлечения и генерации2023
Обзор больших языковых моделей и автономных агентов в химии2024