Diesel: DSL для вычислений линейной алгебры и нейронных сетей на графических процессорах

Представлен компилятор предметно-ориентированного языка Diesel для базовых вычислений линейной алгебры и нейронных сетей, который принимает входные выражения в интуитивно понятной форме и генерирует высокопроизводительный код для графических процессоров. Современный подход заключается в представлении нейронной сети в виде вычислительного направленного ациклического графа (DAG), где каждой вершине графа соответствует отдельная операция, например умножение матриц, после чего отдельные операции сопоставляются с вручную оптимизированными библиотечными функциями стандартных библиотек, таких как CuBLAS и CuDNN. Хотя этот метод использует доступный оптимизированный библиотечный код для достижения высокой производительности отдельных операций, он не позволяет выполнять оптимизацию между операциями. В отличие от этого, для вычисления, состоящего из нескольких операций, Diesel генерирует набор эффективных функций устройства, оптимизируя код для вычисления в целом с использованием методов полидеральной компиляции. Кроме того, в некоторых случаях для достижения оптимальной производительности требуется специализация кода под конкретные размеры задачи. В то время как стандартные библиотеки создаются для параметрических размеров задачи, задаваемых во время выполнения, Diesel принимает размеры задачи во время компиляции и генерирует специализированный код. Экспериментальные результаты показывают, что производительность кода, сгенерированного Diesel для отдельных операций, сопоставима с производительностью тщательно оптимизированных реализаций стандартных библиотек, тогда как для составных вычислений Diesel превосходит реализации, написанные вручную.