От ChatGPT к ThreatGPT: влияние генеративного искусственного интеллекта на кибербезопасность и конфиденциальность
From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy
2023-01-01
SCID: 54.1/6fcfb9vy
Discuss with AI
генеративный искусственный интеллекткибербезопасность и конфиденциальностьобнаружение вредоносного ПОатаки с внедрением подсказокатаки социальной инженерии
Figures from the paper
Abstract (AI)
Несомненно, развитие моделей генеративного искусственного интеллекта (GenAI) стало одним из ключевых событий цифровой трансформации в 2022 году. По мере того как различные модели GenAI, такие как ChatGPT и Google Bard, продолжают усложняться и расширять свои возможности, крайне важно понимать их последствия с точки зрения кибербезопасности. Несколько недавних случаев продемонстрировали использование инструментов GenAI как в защитных, так и в наступательных целях в сфере кибербезопасности, одновременно подчеркнув социальные, этические последствия и последствия для конфиденциальности, связанные с этой технологией. В данной исследовательской работе рассматриваются ограничения, проблемы, потенциальные риски и возможности применения GenAI в области кибербезопасности и конфиденциальности. Представлены уязвимости ChatGPT, которые злоумышленники могут эксплуатировать для извлечения вредоносной информации в обход этических ограничений модели. В работе демонстрируются успешные атаки на ChatGPT, включая джейлбрейки, обратную психологию и атаки с внедрением запросов. Также исследуется, как киберпреступники могут использовать инструменты GenAI для разработки кибератак, и рассматриваются сценарии, в которых противники могут применять ChatGPT для создания атак социальной инженерии, фишинговых атак, автоматизированного взлома, полезных нагрузок атак, вредоносного и полиморфного вредоносного программного обеспечения. Далее анализируются методы защиты и использование инструментов GenAI для совершенствования мер безопасности, включая автоматизацию киберзащиты, подготовку отчетности, сбор и анализ данных об угрозах, генерацию и обнаружение безопасного кода, идентификацию атак, разработку этических рекомендаций, планов реагирования на инциденты и обнаружение вредоносного программного обеспечения. Кроме того, обсуждаются социальные, правовые и этические последствия использования ChatGPT. В заключение в работе выделяются нерешенные проблемы и перспективные направления, необходимые для того, чтобы сделать GenAI безопасным, надежным, заслуживающим доверия и соответствующим этическим нормам по мере углубления понимания сообществом его влияния на кибербезопасность.
Key Findings
1
Уязвимости ChatGPT могут использоваться для обхода этических ограничений и извлечения вредоносной информации с помощью джейлбрейков, обратной психологии и атак с внедрением промптов.
2
Киберпреступники могут применять генеративный ИИ для социальной инженерии, фишинга, автоматизированного взлома, создания полезных нагрузок атак, вредоносного и полиморфного программного обеспечения.
3
Генеративный ИИ способен усилить киберзащиту посредством автоматизации, анализа угроз, генерации и проверки безопасного кода, идентификации атак, реагирования на инциденты и обнаружения вредоносных программ.
4
Генеративный ИИ создает как возможности для защиты киберпространства, так и наступательные риски, имеющие существенные социальные, этические последствия и последствия для конфиденциальности.
5
В работе выявлены нерешенные проблемы, требующие этических руководящих принципов и дальнейших исследований для обеспечения безопасности, надежности и этичности генеративного ИИ.
Research Object
Модели генеративного ИИ (на примере ChatGPT и Google Bard), используемые в контексте кибербезопасности и конфиденциальности
Research Subject
Воздействие генеративного искусственного интеллекта на кибербезопасность, конфиденциальность, социальные, правовые и этические аспекты, включая уязвимости, применение в атаках и оборонительные возможности
Publication Details
Publication Date
2023-01-01
Journal
Publisher
ISSN
Cited by
760
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest