Mental-LLM

Достижения в области больших языковых моделей (LLM) сделали возможным применение таких моделей в самых разных задачах. Однако в исследовании понимания и расширения возможностей LLM в области психического здоровья по-прежнему существует существенный пробел. В настоящей работе представлена всесторонняя оценка нескольких LLM на различных задачах прогнозирования психического здоровья с использованием текстовых данных из интернета, включая Alpaca, Alpaca-LoRA, FLAN-T5, GPT-3.5 и GPT-4. Проведён широкий спектр экспериментов, охватывающий промптинг в режиме zero-shot, промптинг в режиме few-shot и дообучение по инструкциям. Результаты свидетельствуют о многообещающей, но ограниченной эффективности LLM в задачах психического здоровья при использовании конструкций zero-shot- и few-shot-промптов. Более того, эксперименты показывают, что дообучение по инструкциям может существенно повысить эффективность LLM одновременно во всех задачах. Наши лучшие дообученные модели Mental-Alpaca и Mental-FLAN-T5 превосходят лучшие конструкции промптов для GPT-3.5 — при размерах моделей, соответственно, в 25 и 15 раз превышающих их размеры — на 10,9% по сбалансированной точности, а также лучшие конструкции промптов для GPT-4 — при размерах моделей, соответственно, в 250 и 150 раз превышающих их размеры — на 4,8%. Кроме того, они демонстрируют результаты, сопоставимые с современными специализированными языковыми моделями для отдельных задач. Мы также провели исследовательский анализ возможностей LLM в задачах рассуждения о психическом здоровье, продемонстрировав многообещающие возможности некоторых моделей, таких как GPT-4. Полученные результаты обобщены в виде практических рекомендаций относительно потенциальных методов расширения возможностей LLM в задачах психического здоровья. Одновременно мы подчёркиваем важные ограничения, которые необходимо учитывать до внедрения таких моделей в реальную практику охраны психического здоровья, включая известные расовые и гендерные предубеждения. Мы обращаем внимание на существенные этические риски, сопутствующие этому направлению исследований.