Sehaa: инструмент анализа больших данных для выявления симптомов и заболеваний в сфере здравоохранения с использованием Twitter, Apache Spark и машинного обучения

Интеллектуальность, лежащая в основе умных городов и обществ, определяется нашей способностью взаимодействовать с окружающей средой, анализировать ее и своевременно принимать решения. Здравоохранение является основной сферой, нуждающейся в преобразующих возможностях такой интеллектуальности. Социальные сети могут обеспечить повсеместное и непрерывное взаимодействие между участниками системы здравоохранения, что приведет к улучшению общественного здоровья. Существующие исследования ограничены по охвату, функциональности и масштабируемости. В данной статье предлагается Sehaa — инструмент анализа больших данных для здравоохранения в Королевстве Саудовская Аравия (КСА), использующий данные Twitter на арабском языке. Sehaa применяет наивный байесовский классификатор, логистическую регрессию и несколько методов извлечения признаков для выявления различных заболеваний в КСА. Согласно результатам Sehaa, пять наиболее распространенных заболеваний в Саудовской Аравии по фактическому числу заболевших — кожные заболевания, болезни сердца, гипертония, рак и диабет. Эр-Рияду и Джидде необходимо активнее повышать осведомленность населения о наиболее распространенных заболеваниях. Таиф является самым здоровым городом КСА с точки зрения выявленных заболеваний и мероприятий по повышению осведомленности. Sehaa разработан на базе Apache Spark, что обеспечивает настоящую масштабируемость. Использованный набор данных включает 18,9 миллиона твитов, собранных с ноября 2018 года по сентябрь 2019 года. Результаты оценивались с использованием общепринятых числовых метрик (точность и F1-мера) и подтверждались внешне доступной статистикой.