TrustLLM: Надёжность больших языковых моделей

TrustLLM: Trustworthiness in Large Language Models
Yue Huang, Lichao Sun, Haoran Wang, Siyuan Wu, Qihui Zhang, Yuan Li, Chang Gao, Yixin Huang, Wenhan Lyu, Yixuan Zhang, Xiner Li, Yixin Liu, Yixin Liu, Yijue Wang, Zhikun Zhang, Bertie Vidgen, Bhavya Kailkhura, C Xiong, Chaowei Xiao, Chunyuan Li, Eric Xing, F T Huang, Hao Liu, H Q Ji, Hongyi Wang, Huan Zhang, Huaxiu Yao, M Kellis, Marinka Žitnik, May S. Jiang, Mohit Bansal, James Zou, Jian Pei, Jian Liu, Gao, Jianfeng, Jiawei Han, Jieyu Zhao, Jiliang Tang, Jindong Wang, Joaquin Vanschoren, John C. Mitchell, Shu K, Kaidi Xu, Kai-Wei Chang, He, Lifang, Lifu Huang, Michael Backes A, Neil Zhenqiang Gong, Philip S. Yu, Pin-Yu Chen, Quanquan Gu, Xu Rd, Rex Ying, Shuiwang Ji, Suman Jana, Tianlong Chen, Tianming Liu, Tianyi Zhou, William Wang, Xing Xie, Xiangliang Zhang, Wang, Xiao, X J Xie, Xun Chen, Xuyu Wang, Yan Liu, Yanfang Ye, Yinzhi Cao, Yong Chen, Yue Zhao
2024-01-01

достоверность больших языковых моделейбенчмарк TrustLLMсправедливость и робастностьконфиденциальность и машинная этикаправдивость и безопасность
Большие языковые модели (LLM), примером которых служит ChatGPT, привлекли значительное внимание благодаря своим выдающимся возможностям обработки естественного языка. Тем не менее эти модели создают множество проблем, особенно в области надёжности. Поэтому обеспечение надёжности LLM становится важной задачей. В данной статье представлен TrustLLM — комплексное исследование надёжности LLM, включающее принципы для различных аспектов надёжности, разработанный тестовый набор, оценку и анализ надёжности основных LLM, а также обсуждение открытых проблем и перспективных направлений. В частности, сначала предлагается набор принципов для надёжных LLM, охватывающий восемь различных аспектов. На основе этих принципов далее создаётся тестовый набор по шести аспектам: истинность, безопасность, справедливость, устойчивость, конфиденциальность и машинная этика. Затем представлено исследование, в котором оцениваются 16 основных LLM в рамках TrustLLM с использованием более 30 наборов данных. Во-первых, результаты показывают, что в целом надёжность и полезность (то есть функциональная эффективность) положительно связаны. Во-вторых, наблюдения свидетельствуют о том, что проприетарные LLM в целом превосходят большинство открытых аналогов по надёжности, что вызывает обеспокоенность относительно потенциальных рисков широкодоступных открытых LLM. Однако некоторые открытые LLM очень близки по показателям к проприетарным моделям. В-третьих, важно отметить, что некоторые LLM могут быть чрезмерно настроены на демонстрацию надёжности, вследствие чего их полезность снижается: они ошибочно воспринимают безвредные запросы как вредоносные и поэтому не отвечают на них. Наконец, мы подчёркиваем важность обеспечения прозрачности не только самих моделей, но и технологий, лежащих в основе надёжности. Знание конкретных использованных технологий обеспечения надёжности имеет решающее значение для анализа их эффективности.
1
Оценка 16 ведущих больших языковых моделей показывает, что надёжность и функциональная полезность в целом положительно связаны.
2
Проприетарные модели в целом превосходят большинство открытых моделей по надёжности, хотя несколько открытых моделей приближаются к их результатам.
3
Некоторые модели чрезмерно ориентированы на демонстрацию надёжности, ошибочно считая безвредные запросы опасными и снижая полезность отказами от ответа.
4
Бенчмарк охватывает шесть измерений надёжности — истинность, безопасность, справедливость, устойчивость, конфиденциальность и машинную этику — и включает более 30 наборов данных.
5
Исследование подчёркивает необходимость прозрачности как в поведении моделей, так и в конкретных технологиях, используемых для обеспечения надёжности.
6
TrustLLM вводит принципы создания надёжных больших языковых моделей, охватывающие восемь измерений, и использует их для систематической оценки.

большие языковые модели (LLM)

достоверность и надёжность LLM по направлениям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и машинной этики, включая её связь с функциональной эффективностью

Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Yue Huang
Lichao Sun
Haoran Wang
Siyuan Wu
Qihui Zhang
Yuan Li
Chang Gao
Yixin Huang
Wenhan Lyu
Yixuan Zhang
Xiner Li
Yixin Liu
Yixin Liu
Yijue Wang
Zhikun Zhang
Bertie Vidgen
Bhavya Kailkhura
C Xiong
Chaowei Xiao
Chunyuan Li
Eric Xing
F T Huang
Hao Liu
H Q Ji
Hongyi Wang
Huan Zhang
Huaxiu Yao
M Kellis
Marinka Žitnik
May S. Jiang
Mohit Bansal
James Zou
Jian Pei
Jian Liu
Gao, Jianfeng
Jiawei Han
Jieyu Zhao
Jiliang Tang
Jindong Wang
Joaquin Vanschoren
John C. Mitchell
Shu K
Kaidi Xu
Kai-Wei Chang
He, Lifang
Lifu Huang
Michael Backes A
Neil Zhenqiang Gong
Philip S. Yu
Pin-Yu Chen
Quanquan Gu
Xu Rd
Rex Ying
Shuiwang Ji
Suman Jana
Tianlong Chen
Tianming Liu
Tianyi Zhou
William Wang
Xing Xie
Xiangliang Zhang
Wang, Xiao
X J Xie
Xun Chen
Xuyu Wang
Yan Liu
Yanfang Ye
Yinzhi Cao
Yong Chen
Yue Zhao
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%