Способны ли открытые большие языковые модели выявлять уязвимости?

По мере того как большие языковые модели (LLM) все активнее интегрируются в рабочие процессы безопасной разработки программного обеспечения, остается без ответа важный вопрос: способны ли эти модели не только обнаруживать небезопасный код, но и надежно классифицировать уязвимости в соответствии со стандартизированными таксономиями? В данной работе мы проводим систематическую оценку трех современных LLM — Llama3, Codestral и DeepSeek R1 — с использованием тщательно отфильтрованного подмножества набора данных Big-Vul, аннотированного восемью репрезентативными категориями Common Weakness Enumeration (CWE). В рамках классификации с замкнутым множеством классов мы оцениваем эффективность каждой модели как при выявлении наличия уязвимостей, так и при их сопоставлении с корректной меткой CWE. Результаты демонстрируют резкий контраст между высокими показателями обнаружения и заметно низкой точностью классификации, сопровождающийся частыми случаями чрезмерного обобщения и ошибочной классификации. Кроме того, мы анализируем специфические для моделей смещения и типичные режимы отказа, проливая свет на ограничения современных LLM при выполнении тонкого анализа безопасности. Эти выводы особенно важны для образовательного контекста, где LLM внедряются в качестве вспомогательных средств обучения, несмотря на их ограничения. Для предотвращения распространения ошибочных представлений среди студентов необходимо глубокое понимание особенностей их поведения. Наши результаты выявляют ключевые проблемы, которые необходимо решить до того, как LLM смогут надежно применяться в средах, чувствительных к вопросам безопасности.