Смещение обобщения при суммаризации научных исследований большими языковыми моделями

Чат-боты на основе искусственного интеллекта, работающие с большими языковыми моделями (LLM), способны повышать научную грамотность широкой общественности и поддерживать научные исследования, поскольку они могут быстро суммировать сложную научную информацию в доступной форме. Однако при суммаризации научных текстов LLM могут опускать детали, ограничивающие область применимости выводов исследования, что приводит к обобщениям результатов, более широким, чем это допускает исходное исследование. Мы протестировали 10 известных LLM, включая ChatGPT-4o, ChatGPT-4.5, DeepSeek, LLaMA 3.3 70B и Claude 3.7 Sonnet, сопоставив 4900 резюме, созданных LLM, с исходными научными текстами. Даже при явном указании обеспечивать точность большинство LLM формулировали более широкие обобщения научных результатов, чем содержались в исходных текстах; у DeepSeek, ChatGPT-4o и LLaMA 3.3 70B чрезмерные обобщения встречались в 26–73% случаев. При прямом сравнении научных резюме, созданных LLM и людьми, вероятность широких обобщений в резюме LLM была почти в пять раз выше (отношение шансов = 4.85, 95% ДИ [3.06, 7.70], p < 0.001). Примечательно, что более новые модели, как правило, демонстрировали меньшую точность обобщения по сравнению с более ранними моделями. Наши результаты указывают на выраженное смещение многих широко используемых LLM в сторону чрезмерного обобщения научных выводов, что создает значительный риск масштабного неправильного истолкования результатов исследований. Мы обозначаем потенциальные стратегии снижения этого риска, включая понижение настроек температуры LLM и бенчмаркинг LLM по точности обобщения.