Уточнение псевдоаудио-подсказок с выравниванием речи и текста для адаптации по домену только по тексту в ASR на основе LLM

Модели автоматического распознавания речи на основе больших языковых моделей (LLM) демонстрируют высокую эффективность за счёт связи аудиоэнкодеров и LLM. Однако дефицит пар «речь — транскрипция» часто затрудняет адаптацию к новым доменам, поэтому критически важна адаптация по домену на основе только текстовых данных. Существующие подходы обычно либо дообучают только LLM, либо используют псевдоаудио-подсказки. Первый вариант игнорирует важный акустический контекст, тогда как второй либо страдает ограниченной масштабируемостью при нехватке данных, либо даёт мало выразительные подсказки, опираясь только на текстовые признаки и игнорируя аудиомодальность. Чтобы решить эту проблему, мы предлагаем усовершенствованную схему, которая явно моделирует выравнивание речи и текста. Наш метод эффективно генерирует высоковыразительные псевдоаудио-подсказки, преодолевающие модальную пропасть и обеспечивающие эффективную адаптацию к целевому домену. Эксперименты показывают, что предложенный подход превосходит существующие методы, работающие только с текстом, улучшая как общие показатели ошибок, так и покрытие вне словаря.