Анализ больших данных в здравоохранении: Apache Hadoop, Apache Spark и Apache Flink

Введение: Объем данных в здравоохранении увеличивается. Корректный анализ этих данных может повысить качество медицинской помощи и снизить затраты. Такие данные характеризуются большим объемом, разнообразием и высокой скоростью генерации, что делает их анализ с использованием обычных аппаратных и программных платформ невозможным. Поэтому выбор подходящей платформы для управления данными такого типа имеет большое значение. Цель исследования — представить и сравнить наиболее популярную и широко используемую платформу для обработки больших данных Apache Hadoop MapReduce, а также платформы Apache Spark и Apache Flink, которые в последнее время приобрели широкую известность. Материалы и методы: Исследование представляет собой обзор, основанный на поиске публикаций в базах данных ProQuest, PubMed, Google Scholar, ScienceDirect, Scopus, IranMedex, Irandoc, Magiran, ParsMedline и Scientific Information Database (SID), а также на анализе веб-обзоров и специализированных книг по соответствующим ключевым словам и стандартам. Всего было изучено 80 статей, связанных с темой исследования. Результаты: Полученные данные показали, что каждая из изученных платформ обладает определенными характеристиками в отношении обработки данных, поддержки различных языков программирования, скорости обработки, вычислительной модели, управления памятью, оптимизации, задержки, отказоустойчивости, масштабируемости, производительности, совместимости, безопасности и других параметров. В целом результаты показали, что среда Apache Hadoop отличается простотой, обнаружением ошибок и управлением масштабируемостью на основе кластеров. Однако, поскольку ее обработка основана на пакетном режиме, она подходит для более медленного выполнения сложного анализа и не поддерживает потоковую обработку. Apache Spark представляет собой распределенную вычислительную платформу, способную обрабатывать большие наборы данных в оперативной памяти с очень быстрым временем отклика. Apache Flink позволяет пользователям хранить данные в памяти и загружать их многократно, обеспечивая при этом сложный механизм отказоустойчивости, который непрерывно восстанавливает состояние потока данных. Заключение: Применение платформ для анализа и обработки больших данных...