Развитие биоинформатики с помощью языковых моделей: компоненты, применения и перспективы

Большие языковые модели (LLM) представляют собой класс моделей искусственного интеллекта, основанных на глубоком обучении, которые демонстрируют высокую эффективность в решении различных задач, особенно в области обработки естественного языка (NLP). Большие языковые модели обычно состоят из искусственных нейронных сетей с многочисленными параметрами, обучаемых на больших объемах неразмеченных данных с использованием самообучения или полуобучения. Однако их потенциал для решения задач биоинформатики может превосходить их возможности в моделировании человеческого языка. В этом обзоре представлен всесторонний обзор ключевых компонентов больших языковых моделей (LLM) в биоинформатике, включая геномику, транскриптомику, протеомику, разработку лекарственных средств и одноклеточный анализ. Рассмотрены методы токенизации различных типов данных, архитектура трансформерных моделей, основной механизм внимания и процессы предварительного обучения, лежащие в основе этих моделей. Кроме того, представлены доступные в настоящее время базовые модели и освещены их последующие применения в различных областях биоинформатики. Наконец, опираясь на собственный опыт, мы предлагаем практические рекомендации пользователям и разработчикам LLM, уделяя особое внимание стратегиям оптимизации их использования и содействия дальнейшим инновациям в этой области.