Transformers от HuggingFace: современные методы обработки естественного языка

Недавний прогресс в обработке естественного языка обусловлен достижениями как в архитектуре моделей, так и в предварительном обучении моделей. Архитектуры Transformer позволили создавать модели большей емкости, а предварительное обучение сделало возможным эффективное использование этой емкости для широкого спектра задач. Transformers — это открытая библиотека с целью распространить эти достижения среди более широкой сообщества машинного обучения. Библиотека состоит из тщательно разработанных современных архитектур Transformer под единым API. В основе библиотеки лежит кураторская коллекция предварительно обученных моделей, созданных и доступных сообществу. Transformers спроектирована так, чтобы быть расширяемой для исследователей, простой для практиков и быстрой и надежной при промышленном использовании. Библиотека доступна по адресу https://github.com/huggingface/transformers.