ET-BERT: контекстуализированное представление датаграмм с использованием предварительно обученных трансформеров для классификации зашифрованного трафика

Для точной классификации зашифрованного трафика необходимы дискриминативные и устойчивые представления трафика, извлечённые из данных, содержимое которых недоступно для анализа и которые характеризуются дисбалансом классов; это представляет собой сложную, но необходимую задачу для обеспечения сетевой безопасности и управления сетью. Основное ограничение существующих решений заключается в их сильной зависимости от глубоких признаков, которые чрезмерно зависят от объёма данных и плохо обобщаются на невиданные ранее данные. Использование неразмеченных данных о трафике из открытой предметной области для обучения представлений с высокой способностью к обобщению остаётся ключевой проблемой. В данной работе предложена новая модель представления трафика под названием Encrypted Traffic Bidirectional Encoder Representations from Transformers (ET-BERT), которая предварительно обучает глубокие контекстуализированные представления на уровне датаграмм на больших объёмах неразмеченных данных. Предварительно обученную модель можно дообучить на небольшом количестве специализированных размеченных данных; она демонстрирует результаты уровня state of the art в пяти задачах классификации зашифрованного трафика, существенно повышая показатель F1 для ISCX-VPN-Service до 98,9% (на 5,2% выше), Cross-Platform (Android) — до 92,5% (на 5,4% выше), а CSTNET-TLS 1.3 — до 97,4% (на 10,0% выше). Примечательно, что эмпирически высокую эффективность модели предварительного обучения мы объясняем посредством анализа случайности шифров. Это позволяет глубже понять границы возможностей классификации зашифрованного трафика. Исходный код доступен по адресу: https://github.com/linwhitehat/ET-BERT.