Рекомендации по оценке точности методов идентификации шаблонов сообщений журналов

Идентификация шаблонов сообщений журналов направлена на преобразование исходных журналов, содержащих сообщения в свободной форме, в структурированные журналы для автоматизированного анализа на основе журналов, такого как обнаружение аномалий и вывод моделей. Несмотря на то что в научной литературе предложено множество методов, только два недавних исследования содержат всестороннюю оценку и сравнение этих методов с использованием общепринятого эталонного набора данных, состоящего из журналов реальных систем. Тем не менее мы утверждаем, что оба исследования имеют следующие недостатки: (1) в них используются различные метрики точности, но отсутствует их сравнение; (2) некоторые эталонные (oracle) шаблоны являются некорректными; и (3) результаты оценки точности не предоставляют информации о неправильно идентифицированных шаблонах.