MERA: Всесторонняя оценка LLM для русского языка

За последние несколько лет одним из наиболее заметных достижений в исследованиях ИИ стали фундаментальные модели (foundation models, FMs), прежде всего рост моделей обработки языка (language models, LMs). С увеличением размеров моделей LMs показывают улучшение измеримых величин и появление новых качественных возможностей. Однако несмотря на внимание исследователей и быстрый рост приложений LMs, их способности, ограничения и связанные риски остаются недостаточно изученными. Для решения этих задач мы представляем открытый Multimodal Evaluation of Russian-language Architectures (MERA) — новый инструкционный бенчмарк для оценки фундаментальных моделей, ориентированных на русский язык. Бенчмарк включает 21 задачу оценки для генеративных моделей в 11 областях навыков и разработан как тест «черного ящика» для исключения утечек данных. В статье предлагается методология оценки FMs и LMs в условиях нулевого и малошотного (zero- и few-shot) фиксированного инструкционного формата, которую можно расширить на другие модальности. Мы предоставляем методику оценки, открытый код для проведения оценки MERA и таблицу лидеров с системой приёма заявок. В качестве базовых систем мы оценили открытые LMs и установили, что они по-прежнему значительно уступают человеческому уровню. Мы публично выпускаем MERA, чтобы направить будущие исследования, предвосхитить появление новых возможностей моделей, стандартизировать процедуры оценки и учитывать потенциальные общественные риски.