TrustLLM: Надёжность больших языковых моделей
TrustLLM: Trustworthiness in Large Language Models
2024-01-01
SCID: 54.1/25rmddwz
Discuss with AI
достоверность больших языковых моделейбенчмарк TrustLLMсправедливость и робастностьконфиденциальность и машинная этикаправдивость и безопасность
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM), примером которых служит ChatGPT, привлекли значительное внимание благодаря своим выдающимся возможностям обработки естественного языка. Тем не менее эти модели создают множество проблем, особенно в области надёжности. Поэтому обеспечение надёжности LLM становится важной задачей. В данной статье представлен TrustLLM — комплексное исследование надёжности LLM, включающее принципы для различных аспектов надёжности, разработанный тестовый набор, оценку и анализ надёжности основных LLM, а также обсуждение открытых проблем и перспективных направлений. В частности, сначала предлагается набор принципов для надёжных LLM, охватывающий восемь различных аспектов. На основе этих принципов далее создаётся тестовый набор по шести аспектам: истинность, безопасность, справедливость, устойчивость, конфиденциальность и машинная этика. Затем представлено исследование, в котором оцениваются 16 основных LLM в рамках TrustLLM с использованием более 30 наборов данных. Во-первых, результаты показывают, что в целом надёжность и полезность (то есть функциональная эффективность) положительно связаны. Во-вторых, наблюдения свидетельствуют о том, что проприетарные LLM в целом превосходят большинство открытых аналогов по надёжности, что вызывает обеспокоенность относительно потенциальных рисков широкодоступных открытых LLM. Однако некоторые открытые LLM очень близки по показателям к проприетарным моделям. В-третьих, важно отметить, что некоторые LLM могут быть чрезмерно настроены на демонстрацию надёжности, вследствие чего их полезность снижается: они ошибочно воспринимают безвредные запросы как вредоносные и поэтому не отвечают на них. Наконец, мы подчёркиваем важность обеспечения прозрачности не только самих моделей, но и технологий, лежащих в основе надёжности. Знание конкретных использованных технологий обеспечения надёжности имеет решающее значение для анализа их эффективности.
Key Findings
1
Оценка 16 ведущих больших языковых моделей показывает, что надёжность и функциональная полезность в целом положительно связаны.
2
Проприетарные модели в целом превосходят большинство открытых моделей по надёжности, хотя несколько открытых моделей приближаются к их результатам.
3
Некоторые модели чрезмерно ориентированы на демонстрацию надёжности, ошибочно считая безвредные запросы опасными и снижая полезность отказами от ответа.
4
Бенчмарк охватывает шесть измерений надёжности — истинность, безопасность, справедливость, устойчивость, конфиденциальность и машинную этику — и включает более 30 наборов данных.
5
Исследование подчёркивает необходимость прозрачности как в поведении моделей, так и в конкретных технологиях, используемых для обеспечения надёжности.
6
TrustLLM вводит принципы создания надёжных больших языковых моделей, охватывающие восемь измерений, и использует их для систематической оценки.
Research Object
большие языковые модели (LLM)
Research Subject
достоверность и надёжность LLM по направлениям правдивости, безопасности, справедливости, устойчивости, конфиденциальности и машинной этики, включая её связь с функциональной эффективностью
Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest