Обзор больших языковых моделей

Стремительное развитие больших языковых моделей (LLM) обусловило трансформационный сдвиг в области искусственного интеллекта (ИИ), изменив как исследовательские парадигмы, так и практические приложения. Отличаясь от своих предшественников беспрецедентным масштабом и расширенными возможностями, LLM требуют новых подходов к пониманию их развития, поведения и воздействия на общество. В настоящем обзоре систематически рассматриваются последние достижения в области методов LLM по четырём ключевым направлениям: (1) методологии предварительного обучения, формирующие базовые возможности моделей посредством крупномасштабного обучения с самоконтролем, архитектурных инноваций и стратегий курирования данных; (2) методы последующего обучения, включая обучение с учителем и обучение с подкреплением, которые адаптируют базовые модели к последующим задачам и повышают их согласованность с заданными целями и безопасность; (3) стратегии применения, такие как обучение в контексте, проектирование запросов и агентное рассуждение, оптимизирующие развёртывание в реальных условиях и обеспечивающие эффективное взаимодействие с внешней средой; и (4) методы оценки, включающие бенчмарки для ключевых измерений способностей, таких как базовые языковые возможности, рассуждение и безопасность, которые поддерживают всестороннюю и надёжную оценку производительности моделей. Кроме того, мы выделяем важнейшие исследовательские вопросы, связанные, в частности, с теоретическими основами, эффективным масштабированием, согласованием и агентными возможностями, а также освещаем открытые проблемы, которые они порождают. Обобщая современные научные результаты и формирующиеся тенденции, данный обзор призван предложить систематическую и всеобъемлющую основу для понимания траектории развития LLM, их текущих ограничений и будущих направлений прогресса.