Биологическая структура и функции возникают при масштабировании обучения без учителя до 250 миллионов белковых последовательностей

В области искусственного интеллекта сочетание масштабов данных и емкости моделей, обеспечиваемое обучением без учителя, привело к значительному прогрессу в обучении представлений и статистической генерации. В науках о жизни ожидаемый рост объемов секвенирования открывает беспрецедентные возможности для получения данных о естественном разнообразии последовательностей. Моделирование белкового языка в масштабе эволюции представляет собой логичный шаг на пути к прогностическому и генеративному искусственному интеллекту для биологии. С этой целью мы использовали обучение без учителя для тренировки глубокой контекстной языковой модели на 86 миллиардах аминокислот, содержащихся в 250 миллионах белковых последовательностей, охватывающих эволюционное разнообразие. Полученная модель содержит в своих представлениях информацию о биологических свойствах. Представления обучаются исключительно на данных о последовательностях. Освоенное пространство представлений обладает многомасштабной организацией, отражающей структуру на уровнях от биохимических свойств аминокислот до отдаленной гомологии белков. Информация о вторичной и третичной структуре закодирована в представлениях и может быть выявлена с помощью линейных проекций. Обучение представлений формирует признаки, обобщаемые в широком спектре приложений, обеспечивая передовое по современным меркам обучение с учителем для предсказания эффектов мутаций и вторичной структуры, а также улучшая современные признаки для предсказания дальних контактов.