Является ли ChatGPT универсальным решателем задач обработки естественного языка?

Благодаря достижениям в масштабировании большие языковые модели (LLM) продемонстрировали способность выполнять широкий спектр задач обработки естественного языка (NLP) в режиме zero-shot, то есть без адаптации на данных последующих задач. Недавнее появление ChatGPT привлекло большое внимание сообщества специалистов по обработке естественного языка (NLP), поскольку эта модель способна генерировать высококачественные ответы на вводные данные пользователя и самостоятельно исправлять предыдущие ошибки с учетом последующих диалогов. Однако пока неизвестно, может ли ChatGPT выступать в качестве универсальной модели, способной выполнять множество задач NLP в режиме zero-shot. В этой работе мы эмпирически анализируем способность ChatGPT к обучению без примеров, оценивая ее на 20 популярных наборах данных NLP, охватывающих 7 репрезентативных категорий задач. На основе обширных эмпирических исследований мы демонстрируем как эффективность, так и ограничения текущей версии ChatGPT. Мы обнаружили, что ChatGPT хорошо справляется со многими задачами, требующими способностей к рассуждению (например, с арифметическим рассуждением), но по-прежнему сталкивается с трудностями при решении специализированных задач, таких как разметка последовательностей. Кроме того, мы представляем углубленный анализ на основе качественных тематических исследований.