Обзор методов оценки больших языковых моделей
A Survey on Evaluation of Large Language Models
2024-01-23
SCID: 54.1/ka2f7qhe
Discuss with AI
этика искусственного интеллектаоценка LLMоценочные бенчмаркибольшие языковые моделиоценка рассуждений
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) приобретают всё большую популярность в академической и промышленной сферах благодаря беспрецедентно высокой эффективности в различных приложениях. Поскольку LLM продолжают играть важную роль как в научных исследованиях, так и в повседневном использовании, их оценка становится всё более критически важной — не только на уровне отдельных задач, но и на уровне общества для лучшего понимания потенциальных рисков, связанных с этими моделями. В последние годы были предприняты значительные усилия по изучению LLM с различных точек зрения. В данной статье представлен всесторонний обзор методов оценки LLM, сосредоточенный на трёх ключевых аспектах: что оценивать, где оценивать и как оценивать. Во-первых, мы рассматриваем задачи оценки, включая общие задачи обработки естественного языка, рассуждение, применение в медицине, этику, образование, естественные и социальные науки, приложения с использованием агентов и другие области. Во-вторых, мы отвечаем на вопросы «где» и «как», подробно рассматривая методы оценки и эталонные тесты, которые являются важнейшими компонентами оценки производительности LLM. Затем мы обобщаем случаи успешного и неуспешного применения LLM в различных задачах. Наконец, мы освещаем несколько будущих проблем, связанных с оценкой LLM. Наша цель — предоставить исследователям в области оценки LLM ценные сведения, способствующие разработке более эффективных LLM. Основной тезис заключается в том, что оценку следует рассматривать как самостоятельную важную научную дисциплину, способную лучше поддержать развитие LLM. Мы постоянно обновляем соответствующие материалы с открытым исходным кодом по адресу: https://github.com/MLGroupJLU/LLM-eval-survey
Key Findings
1
Рассматриваются задачи из общей обработки естественного языка, рассуждений, медицины, этики, образования, естественных и социальных наук, а также применения агентов.
2
Обобщаются успешные и неудачные случаи применения LLM, что подчёркивает необходимость учитывать как возможности, так и ограничения и риски моделей.
3
Методы оценивания и бенчмарки анализируются как ключевые компоненты измерения производительности LLM в различных условиях.
4
Обзор выделяет будущие проблемы и утверждает, что оценивание LLM должно стать самостоятельной важной дисциплиной для развития более эффективных моделей.
5
Обзор систематизирует оценивание больших языковых моделей по трём измерениям: что оценивать, где оценивать и как оценивать.
Research Object
Большие языковые модели (LLMs)
Research Subject
оценка LLM в различных задачах и областях, с использованием методов и бенчмарков, включая анализ общественных рисков
Publication Details
Publication Date
2024-01-23
Journal
Publisher
ISSN
Cited by
6168
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
ImageNet: крупномасштабная иерархическая база изображений2009
LLaMA: открытые и эффективные базовые языковые модели2023
Обзор больших языковых моделей2026
Большие языковые модели кодируют клинические знания2023
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Результаты ChatGPT на экзамене USMLE: потенциал применения больших языковых моделей для медицинского образования с использованием искусственного интеллекта2023
GPT-3: его природа, масштабы, ограничения и последствия2020
О возможностях и рисках фундаментальных моделей2021
Объединение больших языковых моделей и графов знаний: дорожная карта2024
PaLM: Масштабирование языкового моделирования с помощью Pathways2022
Технический отчет о GPT-42023
Как ChatGPT показывает себя на экзамене для получения медицинской лицензии в США (USMLE)? Последствия использования крупных языковых моделей для медицинского образования и оценки знаний2023
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Искры искусственного общего интеллекта: ранние эксперименты с GPT-42023
Оценка больших языковых моделей, обученных на коде2021
Оценка применимости ChatGPT в здравоохранении: анализ различных клинических и исследовательских сценариев2023
Системы рекомендаций в эпоху больших языковых моделей (LLMs)2024
За пределами игры в имитацию: количественная оценка и экстраполяция возможностей языковых моделей2022
Анализ тональности в эпоху больших языковых моделей: проверка реальностью2024
Работы, цитирующие эту статью20
Обзор автономных агентов на основе больших языковых моделей2024
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Раскрытие потенциала инженерии промптов для больших языковых моделей2025
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Большие языковые модели для программной инженерии: систематический обзор литературы2024
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией2024
Подхалимский искусственный интеллект снижает просоциальные намерения и усиливает зависимость2026
Большие языковые модели в медицине и здравоохранении: приложения, достижения и проблемы2024
Обзор больших языковых моделей для генерации кода2025
Управление генеративным искусственным интеллектом2025
Базовые метрики для оценки эффективности медицинских диалогов на основе генеративного искусственного интеллекта2024
Автоматическая обработка данных и конструирование признаков для приложений глубокого обучения и больших данных: обзор2024
Обзор заслуживающих доверия агентов на основе больших языковых моделей: угрозы и контрмеры2025
К периферийному общему интеллекту с использованием нескольких больших языковых моделей (Multi-LLM): архитектура, доверие и оркестрация2025
Создание AI-агентов на базе LLM в социальной виртуальной реальности2024
Большие языковые модели для прогнозирования и обнаружения аномалий: систематический обзор литературы2024
Генеративный искусственный интеллект и большие языковые модели для защиты критической инфраструктуры: оценочные бенчмарки, агентный искусственный интеллект, проблемы и возможности2025
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
Исследовательский ландшафт агентного искусственного интеллекта и больших языковых моделей: применения, проблемы и перспективные направления2025