Transformers: современное состояние обработки естественного языка
Transformers: State-of-the-Art Natural Language Processing
2020-01-01
SCID: 54.1/grws3e4v
Discuss with AI
Hugging Face TransformersОбработка естественного языкаПредобученные трансформерные моделиДемонстрации систем EMNLP 2020Transformers
Figures from the paper
Abstract (AI)
Томас Вольф, Лизандр Дебю, Виктор Сан, Жюльен Шомон, Клеман Деланж, Энтони Муа, Пьеррик Систак, Тим Ро, Реми Луф, Морган Фунтович, Джо Дэвисон, Сэм Шлейфер, Патрик фон Платен, Клара Ма, Ясин Джернит, Жюльен Плю, Цанвэнь Сюй, Тевен Ле Скао, Сильвен Гуgгер, Мариама Драме, Кантен Лоэст, Александр Раш. Труды конференции EMNLP 2020: System Demonstrations. 2020.
Key Findings
1
Библиотека Transformers предоставляет современный (state-of-the-art) набор инструментов для задач обработки естественного языка.
2
Вклад выполнен коллективно большим числом авторов, что предполагает широкое участие сообщества и поддержку/сопровождение.
3
Работа представлена как демонстрация системы на EMNLP 2020, что указывает на практические и применимые программные решения.
Research Object
Библиотека и набор инструментов Transformers для современных методов обработки естественного языка
Research Subject
Возможности, характеристики и практическое применение фреймворка Transformers для реализации современных моделей обработки естественного языка и демонстраций
Publication Details
Publication Date
2020-01-01
Journal
Publisher
ISSN
Cited by
8741
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Longformer: трансформер для длинных документов2020
HISTORIAE: история социокультурной трансформации как лингвистическая наука о данных. Пример применения в гуманитарных науках2025
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Извлечение токсикологической информации с помощью ответов на вопросы2022
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Всесторонний обзор больших языковых моделей2025
О возможностях и рисках фундаментальных моделей2021
Трансформер для неоднородных графов2020
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
Visual ChatGPT: общение, рисование и редактирование с использованием визуальных базовых моделей2023
От ChatGPT к ThreatGPT: влияние генеративного искусственного интеллекта на кибербезопасность и конфиденциальность2023
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Языковые модели с дополнением извлечённой информацией в контексте2023
Методы машинного обучения для решения задач, связанных с малыми объемами данных в молекулярной науке2023
Эффективное ускорение вывода моделей глубокого обучения на периферийных устройствах с ограниченными ресурсами: обзор2022
Одного искусственного интеллекта недостаточно для демократизации образования: об образовательном неравенстве, технорешенчестве и инклюзивных инструментах2024
Улучшение адаптации к предметной области моделей генерации с дополнением извлечённой информацией (RAG) для ответов на вопросы в открытом домене2023
Большие языковые модели для приложений в области психического здоровья: систематический обзор2024
Предвзятость предварительно обученных языковых моделей: эмпирическое исследование анализа тональности и выявления эмоций на основе промптов2022
Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития2023
Машинное обучение для проектирования и управления микрофлюидикикой2022
Грамотность в области генеративного искусственного интеллекта: двенадцать определяющих компетенций2024
Обнаружение вне распределения в режиме zero-shot на основе предобученной модели CLIP2022