DNABERT: предварительно обученная двунаправленная модель представлений энкодера на основе Transformers для языка ДНК в геноме

АКТУАЛЬНОСТЬ: Расшифровка языка некодирующей ДНК является одной из фундаментальных задач геномных исследований. Регуляторный код генов чрезвычайно сложен вследствие полисемии и существования отдалённых семантических связей, которые предыдущие вычислительные методы часто не способны выявить, особенно в условиях ограниченного объёма данных. РЕЗУЛЬТАТЫ: Для решения этой задачи мы разработали новую предварительно обученную модель двунаправленного представления энкодера под названием DNABERT, предназначенную для формирования глобального и переносимого понимания геномных последовательностей ДНК на основе контекстов нуклеотидов, расположенных выше и ниже по последовательности. Мы сравнили DNABERT с наиболее широко используемыми программами для полногеномного предсказания регуляторных элементов и продемонстрировали простоту его использования, точность и эффективность. Мы показываем, что одна предварительно обученная модель Transformer может одновременно достигать передовых результатов при предсказании промоторов, сайтов сплайсинга и сайтов связывания факторов транскрипции после простой донастройки на небольших наборах размеченных данных, специфичных для конкретной задачи. Кроме того, DNABERT обеспечивает непосредственную визуализацию важности нуклеотидов и семантических связей внутри входных последовательностей, что повышает интерпретируемость и позволяет точно выявлять консервативные мотивы последовательностей и кандидатов на функциональные генетические варианты. Наконец, мы демонстрируем, что DNABERT, предварительно обученная на геноме человека, может легко применяться к другим организмам, обеспечивая исключительно высокую эффективность. Мы предполагаем, что предварительно обученная модель DNABERT может быть донастроена для решения многих других задач анализа последовательностей. ДОСТУПНОСТЬ И РЕАЛИЗАЦИЯ: Исходный код, а также предварительно обученная и донастроенная модели DNABERT доступны на GitHub (https://github.com/jerryji1993/DNABERT). ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ: Дополнительные данные доступны онлайн в журнале Bioinformatics.