GENA-LM: семейство открытых фундаментальных языковых моделей ДНК для длинных последовательностей

Недавние достижения в геномике, обусловленные развитием искусственного интеллекта, открыли беспрецедентные возможности для интерпретации геномных последовательностей, уменьшая необходимость во всеобъемлющем экспериментальном анализе сложных взаимосвязанных молекулярных процессов, лежащих в основе функционирования ДНК. Однако значительная проблема заключается в точной расшифровке геномных последовательностей, что требует понимания богатой контекстной информации, распределённой на протяжении тысяч нуклеотидов. Для решения этой задачи мы представляем языковую модель GENA (GENA-LM) — набор фундаментальных языковых моделей ДНК на основе трансформеров, способных обрабатывать входные последовательности длиной до 36 000 пар оснований. В частности, интеграция недавно разработанного механизма рекуррентной памяти позволяет этим моделям обрабатывать ещё более крупные фрагменты ДНК. Мы предоставляем предобученные версии GENA-LM, включая мультивидовые и таксон-специфичные модели, демонстрируя их способность к дообучению и решению широкого спектра сложных биологических задач при умеренных вычислительных затратах. Хотя языковые модели уже привели к значительным прорывам в биологии белков, GENA-LM демонстрирует столь же многообещающий потенциал для преобразования геномики и анализа мультиомных данных. Все модели находятся в открытом доступе на GitHub (https://github.com/AIRI-Institute/GENA_LM) и HuggingFace (https://huggingface.co/AIRI-Institute). Кроме того, мы предоставляем веб-сервис (https://dnalm.airi.net/), позволяющий удобно аннотировать ДНК с помощью моделей GENA-LM.