PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью
PyTorch: An Imperative Style, High-Performance Deep Learning Library
2019-12-03
SCID: 54.1/wdwew8er
Discuss with AI
ускорение на GPUPyTorchпрограммирование в стиле Pythonбиблиотека глубокого обученияимперативное программирование
Figures from the paper
Abstract (AI)
Фреймворки глубокого обучения часто ориентировались либо на удобство использования, либо на скорость, но не на оба этих аспекта одновременно. PyTorch — это библиотека машинного обучения, демонстрирующая, что эти две цели совместимы: она предоставляет императивный и соответствующий принципам Python стиль программирования, поддерживающий представление кода в качестве модели, упрощающий отладку и согласующийся с другими популярными библиотеками научных вычислений, сохраняя при этом высокую эффективность и поддерживая аппаратные ускорители, такие как графические процессоры (GPU). В этой статье подробно рассматриваются принципы, определившие реализацию PyTorch, и то, как они отражены в его архитектуре. Мы подчеркиваем, что каждый аспект PyTorch представляет собой обычную программу на Python, полностью контролируемую пользователем. Кроме того, мы объясняем, как тщательная и прагматичная реализация ключевых компонентов среды выполнения позволяет им совместно обеспечивать высокую производительность. Мы демонстрируем эффективность отдельных подсистем, а также общую скорость работы PyTorch на нескольких распространенных тестах производительности.
Key Findings
1
Каждый аспект PyTorch реализован как обычная программа на Python, полностью контролируемая пользователем, что обеспечивает гибкость и прозрачность разработки.
2
Императивный стиль программирования на Python позволяет рассматривать код как модель, упрощает отладку и согласуется с научными вычислительными библиотеками.
3
PyTorch демонстрирует, что удобство использования и высокая производительность могут сочетаться в рамках одной платформы глубокого обучения.
4
PyTorch поддерживает аппаратные ускорители, включая GPU, сохраняя эффективное выполнение благодаря тщательно интегрированным компонентам среды выполнения.
5
Оценка подсистем и общие тесты показывают высокую скорость и эффективность PyTorch.
Research Object
Библиотека глубокого обучения PyTorch
Research Subject
императивная и ориентированная на Python программная модель библиотеки, архитектура среды выполнения, удобство использования и вычислительная производительность, включая эффективность бенчмарков с ускорением на GPU
Publication Details
Publication Date
2019-12-03
Journal
Publisher
ISSN
Cited by
31471
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью20
Программирование массивов с использованием NumPy2020
Обзор больших языковых моделей2026
Достижения и открытые проблемы федеративного обучения2020
Всесторонний обзор больших языковых моделей2025
Point Transformer2021
Albumentations: быстрые и гибкие преобразования изображений2020
О возможностях и рисках фундаментальных моделей2021
Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet2021
Прогнозирование временных рядов с использованием глубокого обучения: обзор2021
Учёный ИИ: к полностью автоматизированному открытому научному поиску2024
Искусственный интеллект: мощная парадигма для научных исследований2021
SplitFed: когда федеративное обучение встречается с разделённым обучением2022
Плотная вложенная сеть внимания для обнаружения малых инфракрасных целей2022
Унифицирующий обзор глубоких и поверхностных методов обнаружения аномалий2021
Развязанная передача знаний (Decoupled Knowledge Distillation)2022
CMT: сверточные нейронные сети встречаются с визуальными трансформерами2022
Transformer in Transformer2021
Эффективное глубокое обучение: обзор методов уменьшения размера, ускорения и повышения качества моделей глубокого обучения2023
Обучение речевых представлений с самоконтролем: обзор2022
Объяснимость графовых нейронных сетей: таксономический обзор2022