ET-BERT: контекстуализированное представление датаграмм с использованием предварительно обученных трансформеров для классификации зашифрованного трафика
ET-BERT: A Contextualized Datagram Representation with Pre-training Transformers for Encrypted Traffic Classification
2022-04-25
SCID: 54.1/hvuyhvwz
Discuss with AI
ET-BERTконтекстуализированное представление датаграммклассификация зашифрованного трафиканаборы данных зашифрованного трафикапредварительное обучение трансформеров
Figures from the paper
Abstract (AI)
Для точной классификации зашифрованного трафика необходимы дискриминативные и устойчивые представления трафика, извлечённые из данных, содержимое которых недоступно для анализа и которые характеризуются дисбалансом классов; это представляет собой сложную, но необходимую задачу для обеспечения сетевой безопасности и управления сетью. Основное ограничение существующих решений заключается в их сильной зависимости от глубоких признаков, которые чрезмерно зависят от объёма данных и плохо обобщаются на невиданные ранее данные. Использование неразмеченных данных о трафике из открытой предметной области для обучения представлений с высокой способностью к обобщению остаётся ключевой проблемой. В данной работе предложена новая модель представления трафика под названием Encrypted Traffic Bidirectional Encoder Representations from Transformers (ET-BERT), которая предварительно обучает глубокие контекстуализированные представления на уровне датаграмм на больших объёмах неразмеченных данных. Предварительно обученную модель можно дообучить на небольшом количестве специализированных размеченных данных; она демонстрирует результаты уровня state of the art в пяти задачах классификации зашифрованного трафика, существенно повышая показатель F1 для ISCX-VPN-Service до 98,9% (на 5,2% выше), Cross-Platform (Android) — до 92,5% (на 5,4% выше), а CSTNET-TLS 1.3 — до 97,4% (на 10,0% выше). Примечательно, что эмпирически высокую эффективность модели предварительного обучения мы объясняем посредством анализа случайности шифров. Это позволяет глубже понять границы возможностей классификации зашифрованного трафика. Исходный код доступен по адресу: https://github.com/linwhitehat/ET-BERT.
Key Findings
1
Анализ случайности шифров объясняет эмпирическую эффективность модели и даёт представление о границах возможностей классификации зашифрованного трафика.
2
По сравнению с существующими методами ET-BERT повышает F1 на 5,2%, 5,4% и 10,0% соответственно на трёх указанным тестовым наборам.
3
ET-BERT достигает передовых результатов в пяти задачах классификации зашифрованного трафика, включая F1 98,9% для ISCX-VPN-Service, 92,5% для Cross-Platform Android и 97,4% для CSTNET-TLS 1.3.
4
ET-BERT предварительно обучает контекстуализированные представления дейтаграмм зашифрованного трафика на больших объёмах неразмеченных данных с использованием архитектуры Transformer.
5
Предварительно обученную модель можно дообучать на небольших объёмах специализированных размеченных данных, сохраняя высокую обобщающую способность при классификации зашифрованного трафика.
Research Object
Зашифрованные сетевые дейтаграммы трафика (уровень дейтаграмм) для классификации зашифрованного трафика
Research Subject
контекстуализированные представления на уровне датаграмм, а также их способность к обобщению и эффективность классификации зашифрованного трафика
Publication Details
Publication Date
2022-04-25
Journal
Publisher
ISSN
Cited by
670
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Глубокое обучение для классификации зашифрованного трафика: обзор2019
FS-Net: сеть последовательностей потоков для классификации зашифрованного трафика2019
FlowPrint: полууправляемая идентификация мобильных приложений по зашифрованному сетевому трафику2020
PERT: представление кодирования полезной нагрузки на основе трансформера для классификации зашифрованного трафика2020
Адаптивная идентификация зашифрованного трафика по отпечаткам с двунаправленной зависимостью2016
Обучение классификации: основанная на потоках реляционная сеть для классификации зашифрованного трафика2020
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью5
ATVITSC: новый метод классификации зашифрованного трафика на основе глубокого обучения2024
FG-SAT: эффективный граф потоков для классификации зашифрованного трафика в условиях сдвига среды2025
MIETT: трансформер зашифрованного трафика с множественными экземплярами для классификации зашифрованного трафика2025
Время покажет: Criss-Cross Transformer для анализа зашифрованного трафика2026
Эффективное обнаружение вредоносного зашифрованного трафика с помощью многомасштабного сверточно-усиленного трансформера: подход NetFlowClassifier2026