Языковые модели с дополнением извлечённой информацией в контексте

Методы языкового моделирования с дополнением извлечённой информацией (Retrieval-Augmented Language Modeling, RALM), которые при генерации обусловливают языковую модель (LM) релевантными документами из корпуса заземления, как было показано, существенно повышают эффективность языкового моделирования. Кроме того, они могут смягчить проблему фактически недостоверной генерации текста и обеспечивать естественный механизм атрибуции источников. Существующие подходы RALM сосредоточены на модификации архитектуры LM для облегчения интеграции внешней информации, что значительно усложняет развёртывание. В этой статье рассматривается простая альтернатива, названная RALM в контексте (In-Context RALM): архитектура LM остаётся неизменной, а документы заземления добавляются в начало входных данных без какого-либо дополнительного обучения LM. Мы показываем, что In-Context RALM, использующая готовые поисковые системы общего назначения, обеспечивает неожиданно значительный прирост эффективности LM для моделей различного размера и разнообразных корпусов. Мы также демонстрируем, что механизм извлечения и ранжирования документов можно специализированно адаптировать к условиям RALM, чтобы дополнительно повысить эффективность. Мы заключаем, что In-Context RALM обладает значительным потенциалом для более широкого применения заземления LM, особенно в случаях, когда предварительно обученную LM необходимо использовать без модификации или даже посредством доступа через API.