Фреймворки и библиотеки машинного и глубокого обучения для интеллектуального анализа крупномасштабных данных: обзор

Совокупное воздействие новых вычислительных ресурсов и методов, наряду с постоянно растущим потоком больших наборов данных, преобразует многие научные области и может привести к технологическим прорывам, которыми смогут пользоваться миллиарды людей. В последние годы машинное обучение, и особенно его подраздел — глубокое обучение, достигло впечатляющих успехов. Методы, разработанные в этих двух областях, теперь способны анализировать огромные объемы примеров из реального мира и обучаться на них, несмотря на их различный формат. Хотя число алгоритмов машинного обучения велико и продолжает расти, количество их реализаций в виде фреймворков и библиотек также значительно и увеличивается. Разработка программного обеспечения в этой области ведется быстрыми темпами; большое число программных продуктов с открытым исходным кодом создается в академической среде, промышленности, стартапах и широком сообществе разработчиков открытого программного обеспечения. В этом обзоре представлен актуальный комплексный обзор современного состояния, включающий сравнение, а также тенденции разработки и использования передового программного обеспечения для искусственного интеллекта. Кроме того, приведен обзор поддержки массового параллелизма, обеспечивающей эффективное масштабирование вычислений в эпоху больших данных.