Стимулирование дивергентного мышления у больших языковых моделей с помощью дебатов между несколькими агентами

Современные большие языковые модели (LLM), такие как ChatGPT, демонстрируют впечатляющие результаты в общих задачах обработки языка, но по-прежнему испытывают трудности при решении сложных задач рассуждения, что стимулирует исследования когнитивного поведения LLM и поиск человекоподобных стратегий решения задач. Одной из代表ительных стратегий в этом направлении является саморефлексия, при которой LLM итеративно уточняет решение, используя обратную связь, сгенерированную самой моделью. Однако наше исследование показывает, что такие методы, основанные на рефлексии, подвержены проблеме вырождения мышления (Degeneration-of-Thought, DoT): после того как LLM сформировала уверенность в своем решении, она не способна генерировать новые мысли посредством последующей рефлексии, даже если ее исходная позиция неверна. Для решения проблемы DoT мы предлагаем фреймворк дебатов между несколькими агентами (Multi-Agent Debate, MAD), в котором несколько агентов представляют свои аргументы в режиме «око за око», а судья управляет процессом дебатов для получения окончательного решения. Наш фреймворк MAD стимулирует дивергентное мышление LLM, что полезно для задач, требующих глубокого осмысления. Экспериментальные результаты на двух сложных наборах данных — машинном переводе с использованием здравого смысла и контринтуитивном арифметическом рассуждении — демонстрируют эффективность фреймворка MAD. Обширный анализ показывает, что для достижения высокой эффективности MAD необходимы адаптивное завершение дебатов и умеренная степень взаимодействия в режиме «око за око». Кроме того, мы обнаружили, что LLM могут быть несправедливыми судьями, если в качестве агентов используются разные LLM. Исходный код доступен по адресу: https://github.com/Skytliang/Multi-Agents-Debate.