3D Infomax улучшает GNN для предсказания свойств молекул

Предсказание свойств молекул является одним из самых быстрорастущих приложений глубокого обучения с важными практическими последствиями. Включение 3D-структуры молекулы в качестве входных данных улучшает качество моделей для многих молекулярных задач. Однако вычисление этой информации в масштабе, требуемом для ряда реальных приложений, невыполнимо. Мы предлагаем предварительно обучать модель для рассуждения о геометрии молекул, имея в распоряжении только их 2D-молекулярные графы. Используя методы самоконтролируемого обучения, мы максимизируем взаимную информацию между 3D-резюмирующими векторами и представлениями графовой нейронной сети (GNN), чтобы они содержали скрытую 3D-информацию. При дообучении на молекулах с неизвестной геометрией GNN по-прежнему генерирует неявную 3D-информацию и может использовать её для улучшения задач нижестоящего уровня. Мы показываем, что 3D-предобучение обеспечивает значительные улучшения для широкого круга свойств, например, среднее сокращение MAE на 22% по восьми квантово-механическим свойствам. Более того, изученные представления можно эффективно переносить между датасетами в разных молекулярных пространствах.