Объяснимость больших языковых моделей: обзор

Большие языковые модели (LLM) продемонстрировали впечатляющие возможности в области обработки естественного языка. Однако механизмы их функционирования по-прежнему остаются недостаточно изученными, а недостаток прозрачности создает нежелательные риски для последующих приложений. Поэтому понимание и объяснение работы этих моделей имеют ключевое значение для выяснения особенностей их поведения, ограничений и социального воздействия. В этой статье мы предлагаем таксономию методов обеспечения объяснимости и представляем структурированный обзор методов объяснения работы языковых моделей на основе архитектуры Transformer. Мы классифицируем методы в соответствии с парадигмами обучения больших языковых моделей: традиционной парадигмой на основе дообучения и парадигмой на основе промптинга. Для каждой парадигмы мы обобщаем цели и основные подходы к формированию локальных объяснений отдельных предсказаний и глобальных объяснений совокупных знаний модели. Кроме того, мы рассматриваем метрики оценки сформированных объяснений и обсуждаем, как объяснения могут использоваться для отладки моделей и повышения их производительности. Наконец, мы анализируем ключевые проблемы и новые возможности методов объяснения в эпоху больших языковых моделей в сравнении с традиционными моделями глубокого обучения.