Автоматическая оценка афазической речи, регистрируемой аудиосенсорами, для классификации по уровням тяжести афазии и рекомендации речевой терапии

Афазия представляет собой разновидность речевого расстройства, способную вызывать нарушения речи у пациентов. Определение степени тяжести афазии имеет критическое значение для процесса реабилитации. В данном исследовании выделены десять уровней тяжести афазии, соответствующих определённым видам речевой терапии, на основе наличия или отсутствия характерных признаков в афазической речи, что позволяет назначать пациентам более специфическое лечение. В процессе классификации по уровням тяжести афазии оценивается эффективность различных методов извлечения речевых признаков, длительности входных аудиосэмплов и классификаторов машинного обучения. Афазическая речь регистрируется аудиосенсором, записывается, разделяется на аудиофреймы и обрабатывается экстрактором аудиопризнаков перед подачей в классификатор машинного обучения. Согласно результатам, мел-кепстральные коэффициенты (MFCC) являются наиболее подходящим методом извлечения аудиопризнаков для классификации уровня афазии, значительно превосходя по эффективности признаки мел-спектрограммы, хрома и частоты переходов через ноль. Кроме того, при использовании 20-секундных аудиосэмплов классификация показывает более высокую эффективность, чем при использовании 10-секундных фрагментов, хотя разрыв в результатах невелик. Наконец, подход на основе глубокой нейронной сети обеспечивает наилучшие результаты классификации, незначительно превосходя классификаторы метода k ближайших соседей (KNN) и случайного леса и значительно превосходя алгоритмы деревьев решений. Таким образом, исследование показывает, что при использовании MFCC для 20-секундных аудиосэмплов и подхода на основе глубокой нейронной сети классификация уровня афазии позволяет достичь значений accuracy, precision, recall и F1-score, равных 0,99, что обеспечивает возможность рекомендовать соответствующую речевую терапию для выявленного уровня. Для англоязычных пациентов с афазией разработано веб-приложение, позволяющее самостоятельно оценивать степень тяжести расстройства и заниматься речевой терапией.