GENA-LM: семейство фундаментальных языковых моделей ДНК с открытым исходным кодом для длинных последовательностей

Недавние достижения в геномике, обусловленные развитием искусственного интеллекта, открыли беспрецедентные возможности для интерпретации геномных последовательностей, снижая необходимость во всестороннем экспериментальном анализе сложных взаимосвязанных молекулярных процессов, лежащих в основе функционирования ДНК. Однако значительная проблема заключается в точной расшифровке геномных последовательностей, которая требует понимания богатой контекстной информации, распределённой на протяжении тысяч нуклеотидов. Для решения этой задачи мы представляем GENA-LM — набор фундаментальных языковых моделей ДНК на основе архитектуры трансформера, способных обрабатывать входные последовательности длиной до 36 000 пар оснований. В частности, интеграция недавно разработанного механизма рекуррентной памяти позволяет этим моделям обрабатывать ещё более крупные фрагменты ДНК. Мы предоставляем предварительно обученные версии GENA-LM и демонстрируем их способность к дообучению для решения широкого спектра сложных биологических задач при умеренных вычислительных затратах. Хотя языковые модели уже привели к значительным прорывам в биологии белков, GENA-LM демонстрирует столь же многообещающий потенциал для преобразования геномики и анализа мультиомных данных. Все модели находятся в открытом доступе на GitHub: https://github.com/AIRI-Institute/GENA-LM и Hugging Face: https://huggingface.co/AIRI-Institute.