Языковая модель ДНК GROVER изучает контекст последовательности в геноме человека

Модели глубокого обучения, формирующие представление о языке на основе ДНК, демонстрируют высокую эффективность в биологических задачах, связанных с геномом. Геномные последовательности подчиняются правилам, сходным с правилами естественного языка, но отличаются отсутствием понятия слов. Мы применили кодирование пар байтов к геному человека и обучили фундаментальную языковую модель GROVER (Genome Rules Obtained Via Extracted Representations — «правила генома, полученные посредством извлечённых представлений»), словарь которой был выбран с помощью специально разработанной задачи предсказания следующего k-мера. Определённый словарь токенов генома человека наилучшим образом отражает информационное содержание, используемое GROVER. Анализ выученных представлений показал, что обученные эмбеддинги токенов преимущественно кодируют информацию, связанную с частотой, содержанием последовательности и длиной. Некоторые токены преимущественно локализованы в повторяющихся областях, тогда как большинство широко распределено по всему геному. GROVER также обучается учитывать контекст и лексическую неоднозначность. Усреднённые обученные эмбеддинги геномных областей связаны с аннотациями функциональной геномики, что указывает на обучение модели этим структурам исключительно на основе контекстных взаимосвязей между токенами. Это демонстрирует объём информации, закодированной в последовательности и доступной для извлечения с помощью GROVER. В задачах дообучения, связанных с биологией генома, включая идентификацию геномных элементов и связывание белков с ДНК, GROVER превосходит другие модели. GROVER осваивает контекст последовательности, представление о структуре и языковые правила. Извлечение этих знаний может быть использовано для составления грамматики кода жизни.