Затерянные в середине: как языковые модели используют длинные контексты

Хотя современные языковые модели способны принимать на вход длинные контексты, относительно мало известно о том, насколько эффективно они используют контексты большой длины. Мы анализируем эффективность языковых моделей в выполнении двух задач, требующих выявления релевантной информации во входных контекстах: ответов на вопросы по нескольким документам и поиска по ключу и значению. Мы обнаружили, что эффективность может значительно снижаться при изменении положения релевантной информации, что указывает на неспособность современных языковых моделей надежно использовать информацию в длинных входных контекстах. В частности, мы наблюдаем, что эффективность часто максимальна, когда релевантная информация находится в начале или в конце входного контекста, и значительно снижается, когда модели должны обращаться к релевантной информации в середине длинных контекстов, даже если речь идет о моделях, специально разработанных для работы с длинными контекстами. Наш анализ позволяет лучше понять, как языковые модели используют входной контекст, и предлагает новые протоколы оценки для будущих языковых моделей, работающих с длинными контекстами.