Инструментарий анализа генома: фреймворк MapReduce для анализа данных секвенирования ДНК нового поколения

Проекты по секвенированию ДНК нового поколения (NGS), такие как проект «1000 геномов», уже меняют наши представления о генетической вариабельности между отдельными людьми. Однако массивы данных огромного объёма, генерируемые технологиями NGS, — объём пилотного этапа проекта «1000 геномов» составляет почти пять тераоснований — затрудняют создание функционально насыщенных, эффективных и надёжных инструментов анализа даже для специалистов с высокой вычислительной квалификацией. Действительно, сложность доступа к данным, получаемым с помощью этих приборов, и их обработки ограничивает возможности многих специалистов отвечать на научные вопросы, а также определяет удобство такой работы. В настоящей работе мы рассматриваем наш инструментарий анализа генома (Genome Analysis Toolkit, GATK) — структурированный программный фреймворк, предназначенный для упрощения разработки эффективных и надёжных инструментов анализа данных, получаемых при секвенировании ДНК нового поколения, на основе философии функционального программирования MapReduce. GATK предоставляет небольшой, но содержательный набор шаблонов доступа к данным, охватывающий большинство потребностей инструментов анализа. Разделение конкретных аналитических вычислений и общей инфраструктуры управления данными позволяет оптимизировать фреймворк GATK с точки зрения корректности, стабильности, эффективности использования центрального процессора и памяти, а также обеспечить параллелизацию в распределённой и общей памяти. Возможности GATK проиллюстрированы описанием реализации и применения надёжных инструментов, устойчивых к масштабированию, таких как калькуляторы покрытия и инструменты выявления однонуклеотидных полиморфизмов (SNP). Мы заключаем, что программный фреймворк GATK позволяет разработчикам и аналитикам быстро и легко создавать эффективные и надёжные инструменты для анализа данных NGS; многие из них уже внедрены в крупномасштабные проекты секвенирования, такие как проект «1000 геномов» и «Атлас генома рака» (The Cancer Genome Atlas).