Лучше ли LLM, чем сообщается? Обнаружение ошибок в разметке и снижение их влияния на производительность моделей

Бенчмарки в области обработки естественного языка опираются на стандартизированные наборы данных для обучения и оценки моделей и играют ключевую роль в развитии области. Традиционно экспертная разметка обеспечивает высокое качество меток; однако стоимость экспертной аннотации плохо масштабируется с растущим спросом на большие наборы данных, требуемые современными моделями. Краудсорсинг предоставляет более масштабируемое решение, но часто это происходит за счёт точности и согласованности разметки. Недавние достижения в области крупных языковых моделей (LLM) открывают новые возможности для улучшения процесса разметки, в частности для обнаружения ошибок меток в существующих наборах данных. В этой работе мы рассматриваем подход «LLM в роли судьи», использующий ансамбль LLM для пометки потенциально неправильно размеченных примеров. Мы проводим кейс-исследование на четырёх датасетах фактической согласованности из бенчмарка TRUE, охватывающих различные задачи NLP, а также на SummEval, в котором используются оценки качества резюме по шкале Лайкерта по нескольким измерениям. Мы эмпирически анализируем качество разметки существующих наборов данных и сравниваем экспертную, краудсорсинговую и LLM‑базированную разметки по показателям согласия, качества меток и эффективности, демонстрируя сильные и слабые стороны каждого метода разметки. Наши результаты показывают существенное количество ошибок в метках, которые при исправлении вызывают значительный рост заявленной производительности моделей. Это указывает на то, что многие так называемые ошибки LLM обусловлены ошибками в разметке, а не истинными сбоями моделей. Дополнительно мы обсуждаем последствия наличия неправильно размеченных данных и предлагаем методы их смягчения в процессе обучения для повышения производительности.