Большие языковые модели знают, что сказать, но не знают, когда говорить

Смена реплик является фундаментальным механизмом человеческой коммуникации, обеспечивающим плавное и связное вербальное взаимодействие. Недавние достижения в области больших языковых моделей (LLM) стимулировали их использование для совершенствования возможностей смены реплик в системах устного диалога (SDS), включая способность отвечать в подходящие моменты. Однако существующие модели часто испытывают трудности при прогнозировании возможностей для вступления в разговор, называемых местами релевантности перехода (TRP), в естественных, неподготовленных диалогах, фокусируясь только на TRP в конце реплики и не учитывая TRP внутри реплики. Для устранения этих ограничений мы представляем новый набор данных с разметкой TRP внутри реплик, выполненной участниками диалогов, и используем его для оценки эффективности современных LLM при прогнозировании возможностей для вступления в разговор. Результаты экспериментов выявляют текущие ограничения LLM в моделировании неподготовленного устного взаимодействия, указывают на направления дальнейшего совершенствования и создают основу для разработки более естественных диалоговых систем.