Высокопроизводительная архитектура Hadoop RPC с использованием RDMA поверх InfiniBand

Hadoop RPC является базовым механизмом обмена сообщениями в экосистеме Hadoop и используется такими компонентами, как MapReduce, HDFS и HBase в промышленных дата-центрах (например, Facebook и Yahoo!). Однако текущая реализация Hadoop RPC основана на интерфейсе Java sockets, что ограничивает её производительность. Сообщество высокопроизводительных вычислений на протяжении многих лет использует высокоскоростные сети с низкой задержкой, такие как InfiniBand. В данной работе мы анализируем производительность существующей архитектуры Hadoop RPC, выявляя узкие места в управлении буферами и коммуникации, которые незаметны на сетях с меньшей скоростью. Затем мы предлагаем новую архитектуру (RPCoIB) для Hadoop RPC с использованием RDMA поверх InfiniBand. RPCoIB реализует схему управления буферами, обходящую JVM, и использует локальность размеров сообщений, чтобы избежать множественных выделений памяти и копирований при сериализации и десериализации данных. Наши эксперименты показывают, что базовые ping-pong задержки для различных размеров данных сокращаются на 42%–49% и 46%–50% по сравнению с 10GigE и IPoIB QDR (32 Gbps) соответственно, при этом RPCoIB увеличивает пиковой пропускной способности на 82% и 64% по сравнению с 10GigE и IPoIB. По сравнению со стандартным Hadoop поверх IPoIB QDR, RPCoIB улучшает производительность бенчмарка Sort на 64 узлах на 15% и повышает производительность приложения CloudBurst на 10%. Мы также приводим всесторонние интегрированные оценки RPCoIB в сравнении с другими направлениями оптимизации HDFS и HBase с использованием RDMA over InfiniBand: по сравнению с их лучшими результатами мы наблюдаем улучшение на 10% для HDFS-IB и на 24% для HBase-IB. Насколько нам известно, это первая реализация системы Hadoop RPC поверх высокопроизводительных сетей, таких как InfiniBand.