Обнаружение поддельных фотографий и видео в анализе цифровой криминалистики

Exposing Manipulated Photos and Videos in Digital Forensics Analysis
Mário Antunes, Sara Ferreira, Manuel E. Correia
2021-06-24

Celeb-DFv1DFT-SVMДискретное преобразование ФурьеМетоды опорных векторовобнаружение дипфейков
Поддельный мультимедийный контент все чаще используется в широкой гамме киберпреступлений. Распространение фейковых новостей, дезинформации, цифровые похищения и преступления, связанные с программами-вымогателями, — одни из наиболее частых преступлений, в которых поддельные цифровые фотографии и видео выступают как средства совершения и распространения. Криминальным следствиям трудно применять методы машинного обучения для автоматического различения поддельных и подлинных изъятых фотографий и видео. Несмотря на необходимость ручной валидации, простые в использовании платформы для цифровой криминалистики необходимы для автоматизации и облегчения обнаружения подделок и помощи следователям. В статье представлен метод на основе машинного обучения с использованием опорных векторов (Support Vector Machines, SVM) для различения подлинных и поддельных мультимедийных файлов — цифровых фотографий и видео — что может указывать на наличие deepfake-контента. Метод реализован на Python и интегрирован как новые модули в широко используемое приложение для цифровой криминалистики Autopsy. Подход извлекает набор простых признаков, получаемых в результате применения дискретного преобразования Фурье (Discrete Fourier Transform, DFT) к цифровым фотографиям и кадрам видео. Модель оценивали на большой базе классифицированных мультимедийных файлов, содержащих как легитимные, так и поддельные фотографии и кадры, извлечённые из видео. Для обнаружения deepfake в видео использовался датасет Celeb-DFv1, включающий 590 оригинальных видео, собранных с YouTube, и охватывающий различных субъектов. Результаты, полученные с 5-кратной перекрёстной проверкой, превзошли описанные в литературе SVM-методы, достигнув средних F1-оценок 99.53%, 79.55% и 89.10% для фотографий, видео и их смешанного набора соответственно. Также проведено сравнение (бенчмарк) с современными методами путём сопоставления предложенного SVM-подхода с методами глубокого обучения, в частности сверточными нейронными сетями (Convolutional Neural Networks, CNN). Несмотря на то, что CNN превзошли предложенный составной метод DFT-SVM, конкурентоспособность результатов DFT-SVM и существенно сокращённое время обработки делают его пригодным для внедрения и встраивания в модули Autopsy, позволяя прогнозировать уровень «фальшивости» для каждого анализируемого мультимедийного файла.
1
Набор признаков на основе БПФ в сочетании с классификатором SVM различает подлинные и поддельные фотографии и кадры видео для цифровой криминалистики.
2
В сравнении с CNN (глубоким обучением) CNN показали лучшие результаты, но DFT-SVM остаётся конкурентоспособным и значительно быстрее, что делает его пригодным для встраивания в Autopsy.
3
Оценен на большой выборке, включающей Celeb-DFv1; при 5-кратной кросс-валидации F1: 99.53% (фотографии), 79.55% (видео), 89.10% (смешанные).
4
Метод реализован на Python и интегрирован как новые модули в приложение цифровой криминалистики Autopsy.
5
Предложенный метод DFT-SVM превзошёл ранее задокументированные SVM-методы из литературы.

Цифровые фотографии и видео (мультимедийные файлы), проверяемые на подделку/deepfake-контент

Автоматическое обнаружение и классификация подлинных и поддельных (fake/deepfake) мультимедийных файлов с использованием признаков, полученных через ДПФ, и SVM, включая оценку (F1-метрики) и интеграцию в платформу криминалистики Autopsy

Publication Details
Publication Date
2021-06-24
Journal
Publisher
ISSN
Cited by
43
Access Type
Author Information
Authors
Mário Antunes
Sara Ferreira
Manuel E. Correia
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%