Обнаружение поддельных фотографий и видео в анализе цифровой криминалистики
Exposing Manipulated Photos and Videos in Digital Forensics Analysis
2021-06-24
SCID: 54.1/xvpjke2k
Discuss with AI
Celeb-DFv1DFT-SVMДискретное преобразование ФурьеМетоды опорных векторовобнаружение дипфейков
Figures from the paper
Abstract (AI)
Поддельный мультимедийный контент все чаще используется в широкой гамме киберпреступлений. Распространение фейковых новостей, дезинформации, цифровые похищения и преступления, связанные с программами-вымогателями, — одни из наиболее частых преступлений, в которых поддельные цифровые фотографии и видео выступают как средства совершения и распространения. Криминальным следствиям трудно применять методы машинного обучения для автоматического различения поддельных и подлинных изъятых фотографий и видео. Несмотря на необходимость ручной валидации, простые в использовании платформы для цифровой криминалистики необходимы для автоматизации и облегчения обнаружения подделок и помощи следователям. В статье представлен метод на основе машинного обучения с использованием опорных векторов (Support Vector Machines, SVM) для различения подлинных и поддельных мультимедийных файлов — цифровых фотографий и видео — что может указывать на наличие deepfake-контента. Метод реализован на Python и интегрирован как новые модули в широко используемое приложение для цифровой криминалистики Autopsy. Подход извлекает набор простых признаков, получаемых в результате применения дискретного преобразования Фурье (Discrete Fourier Transform, DFT) к цифровым фотографиям и кадрам видео. Модель оценивали на большой базе классифицированных мультимедийных файлов, содержащих как легитимные, так и поддельные фотографии и кадры, извлечённые из видео. Для обнаружения deepfake в видео использовался датасет Celeb-DFv1, включающий 590 оригинальных видео, собранных с YouTube, и охватывающий различных субъектов. Результаты, полученные с 5-кратной перекрёстной проверкой, превзошли описанные в литературе SVM-методы, достигнув средних F1-оценок 99.53%, 79.55% и 89.10% для фотографий, видео и их смешанного набора соответственно. Также проведено сравнение (бенчмарк) с современными методами путём сопоставления предложенного SVM-подхода с методами глубокого обучения, в частности сверточными нейронными сетями (Convolutional Neural Networks, CNN). Несмотря на то, что CNN превзошли предложенный составной метод DFT-SVM, конкурентоспособность результатов DFT-SVM и существенно сокращённое время обработки делают его пригодным для внедрения и встраивания в модули Autopsy, позволяя прогнозировать уровень «фальшивости» для каждого анализируемого мультимедийного файла.
Key Findings
1
Набор признаков на основе БПФ в сочетании с классификатором SVM различает подлинные и поддельные фотографии и кадры видео для цифровой криминалистики.
2
В сравнении с CNN (глубоким обучением) CNN показали лучшие результаты, но DFT-SVM остаётся конкурентоспособным и значительно быстрее, что делает его пригодным для встраивания в Autopsy.
3
Оценен на большой выборке, включающей Celeb-DFv1; при 5-кратной кросс-валидации F1: 99.53% (фотографии), 79.55% (видео), 89.10% (смешанные).
4
Метод реализован на Python и интегрирован как новые модули в приложение цифровой криминалистики Autopsy.
5
Предложенный метод DFT-SVM превзошёл ранее задокументированные SVM-методы из литературы.
Research Object
Цифровые фотографии и видео (мультимедийные файлы), проверяемые на подделку/deepfake-контент
Research Subject
Автоматическое обнаружение и классификация подлинных и поддельных (fake/deepfake) мультимедийных файлов с использованием признаков, полученных через ДПФ, и SVM, включая оценку (F1-метрики) и интеграцию в платформу криминалистики Autopsy
Publication Details
Publication Date
2021-06-24
Journal
Publisher
ISSN
Cited by
43
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest