PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью

Фреймворки глубокого обучения часто ориентировались либо на удобство использования, либо на скорость, но не на оба этих аспекта одновременно. PyTorch — это библиотека машинного обучения, демонстрирующая, что эти две цели совместимы: она предоставляет императивный и соответствующий принципам Python стиль программирования, поддерживающий представление кода в качестве модели, упрощающий отладку и согласующийся с другими популярными библиотеками научных вычислений, сохраняя при этом высокую эффективность и поддерживая аппаратные ускорители, такие как графические процессоры (GPU). В этой статье подробно рассматриваются принципы, определившие реализацию PyTorch, и то, как они отражены в его архитектуре. Мы подчеркиваем, что каждый аспект PyTorch представляет собой обычную программу на Python, полностью контролируемую пользователем. Кроме того, мы объясняем, как тщательная и прагматичная реализация ключевых компонентов среды выполнения позволяет им совместно обеспечивать высокую производительность. Мы демонстрируем эффективность отдельных подсистем, а также общую скорость работы PyTorch на нескольких распространенных тестах производительности.