BEND: бенчмаркинг языковых моделей ДНК на биологически значимых задачах

Последовательность генома содержит программу, определяющую регуляцию клеточных процессов. Несмотря на значительное увеличение доступности геномов за последние десятилетия, экспериментальная аннотация различных функциональных, некодирующих и регуляторных элементов, закодированных в последовательности ДНК, по-прежнему остается дорогостоящей и сложной. Это вызвало интерес к обучению языковых моделей геномной ДНК без учителя — подходу, продемонстрировавшему высокую эффективность при работе с данными о белковых последовательностях. Хотя было предложено множество языковых моделей ДНК, задачи оценки часто различаются в отдельных исследованиях и могут не в полной мере воспроизводить фундаментальные проблемы аннотации генома, включая длину, масштаб и разреженность данных. В настоящем исследовании мы представляем BEND — бенчмарк для языковых моделей ДНК, включающий набор реалистичных и биологически значимых последующих задач, определенных на геноме человека. Мы обнаружили, что эмбеддинги современных языковых моделей ДНК в некоторых задачах могут приближаться по эффективности к экспертным методам, однако извлекают лишь ограниченную информацию о дальнодействующих признаках. BEND доступен по адресу: https://github.com/frederikkemarin/BEND.