Transformers: современное состояние обработки естественного языка

Victor Sanh; Lysandre Debut; Julien Chaumond; Thomas Wolf; Clément Delangue; Anthony Moi; Pierric Cistac; Tim Rault; Rémi Louf; Morgan Funtowicz; Joe Davison; Sam Shleifer; Patrick von Platen; Clara Ma; Yacine Jernite; Julien Plu; Canwen Xu; Teven Le Scao; Sylvain Gugger; Mariama Drame; Quentin Lhoest; Alexander M. Rush

doi:10.18653/v1/2020.emnlp-demos.6

Transformers: современное состояние обработки естественного языка

Transformers: State-of-the-Art Natural Language Processing

Victor Sanh, Lysandre Debut, Julien Chaumond, Thomas Wolf, Clément Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander M. Rush

2020-01-01

SCID: 54.1/grws3e4v Discuss with AI

Hugging Face TransformersОбработка естественного языкаПредобученные трансформерные моделиДемонстрации систем EMNLP 2020Transformers

Abstract (AI)

Томас Вольф, Лизандр Дебю, Виктор Сан, Жюльен Шомон, Клеман Деланж, Энтони Муа, Пьеррик Систак, Тим Ро, Реми Луф, Морган Фунтович, Джо Дэвисон, Сэм Шлейфер, Патрик фон Платен, Клара Ма, Ясин Джернит, Жюльен Плю, Цанвэнь Сюй, Тевен Ле Скао, Сильвен Гуgгер, Мариама Драме, Кантен Лоэст, Александр Раш. Труды конференции EMNLP 2020: System Demonstrations. 2020.

Key Findings

Библиотека Transformers предоставляет современный (state-of-the-art) набор инструментов для задач обработки естественного языка.

Вклад выполнен коллективно большим числом авторов, что предполагает широкое участие сообщества и поддержку/сопровождение.

Работа представлена как демонстрация системы на EMNLP 2020, что указывает на практические и применимые программные решения.

Research Object

Библиотека и набор инструментов Transformers для современных методов обработки естественного языка

Research Subject

Возможности, характеристики и практическое применение фреймворка Transformers для реализации современных моделей обработки естественного языка и демонстраций

Publication Details

DOI

10.18653/v1/2020.emnlp-demos.6

Publication Date

2020-01-01

Journal

Publisher

ISSN

Open access PDF

https://www.aclweb.org/anthology/2020.emnlp-dem…

Access Type

Author Information

Authors

Victor Sanh

Lysandre Debut

Julien Chaumond

Thomas Wolf

Clément Delangue

Anthony Moi

Pierric Cistac

Tim Rault

Rémi Louf

Morgan Funtowicz

Joe Davison

Sam Shleifer

Patrick von Platen

Clara Ma

Yacine Jernite

Julien Plu

Canwen Xu

Teven Le Scao

Sylvain Gugger

Mariama Drame

Quentin Lhoest

Alexander M. Rush

Download PDF

Make a presentation

Источники этой статьи в scid.ai6

Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023 Longformer: трансформер для длинных документов2020 Исследование пределов переносного обучения с унифицированным трансформером «текст-в-текст»2019 HISTORIAE, История социально-культурной трансформации как лингвистическая наука о данных. Пример применения в гуманитарных науках2019 Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019 Пайплайн с поддержкой ИИ для динамической генерации достоверного контента о биологически активных добавках в масштабе2018

Работы, цитирующие эту статью11

Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024 От ChatGPT к ThreatGPT: влияние генеративного искусственного интеллекта на кибербезопасность и конфиденциальность2023 Эффективное ускорение вывода моделей глубокого обучения на периферийных устройствах с ограниченными ресурсами: обзор2022 Улучшение адаптации к предметной области моделей генерации с дополнением извлечённой информацией (RAG) для ответов на вопросы в открытом домене2023 Большие языковые модели для приложений в области психического здоровья: систематический обзор2024 Предвзятость предварительно обученных языковых моделей: эмпирическое исследование анализа тональности и выявления эмоций на основе промптов2022 Машинное обучение для проектирования и управления микрофлюидикикой2022 Грамотность в области генеративного искусственного интеллекта: двенадцать определяющих компетенций2024 Обнаружение вне распределения в режиме zero-shot на основе предобученной модели CLIP2022 Практическое обнаружение сходства двоичного кода с использованием переносимого обучения сходству на основе BERT2022 Трансформер для неоднородных графов2020