Использование вертикального разбиения с учетом шаблонов данных для создания быстрого и недорогого облачного хранилища журналов

Облачные журналы можно классифицировать на онлайн-, офлайн- и почти онлайн-журналы в зависимости от частоты доступа. Почти онлайн-журналы используются главным образом для отладки, поэтому для обеспечения более удобного пользовательского опыта им требуется низкая задержка выполнения запросов. Кроме того, системы хранения почти онлайн-журналов должны обеспечивать низкую совокупную стоимость, включающую стоимость хранения сжатых журналов, а также вычислительные затраты на сжатие журналов и выполнение запросов. Эти требования создают сложности при разработке быстрого и недорогого облачного хранилища журналов. В данной статье предлагается LogGrep — первый инструмент для сжатия и выполнения запросов к журналам, использующий как статические, так и динамические шаблоны для структурирования и организации журнальных данных в мелкозернистые единицы. Ключевая идея LogGrep — вертикальное разбиение: каждая запись журнала сохраняется в нескольких разделах; сначала журналы разбираются на векторы переменных в соответствии со статическими шаблонами, а затем внутри каждого вектора переменных автоматически выделяются динамические шаблоны. На основе этих динамических шаблонов LogGrep дополнительно разделяет векторы переменных на мелкозернистые единицы, называемые капсулами (Capsules), и снабжает каждую капсулу сводной информацией о ее значениях. В процессе выполнения запросов LogGrep может не распаковывать и не сканировать капсулы, которые не могут содержать искомые ключевые слова, используя выделенные динамические шаблоны и метки капсул. Кроме того, показано, что интерактивная отладка может эффективно использовать преимущества метода на основе вертикального разбиения и одновременно смягчать его недостатки. Для этого LogGrep объединяет инкрементальное позиционирование и частичную реконструкцию, снижая избыточность чтения, возникающую при использовании метода на основе вертикального разбиения. LogGrep был оценен на 37 облачных журналах из производственной среды Alibaba Cloud и на общедоступных наборах данных. Результаты показывают, что по сравнению с современными методами LogGrep снижает задержку выполнения запросов и совокупную стоимость на порядок. Эти результаты подтверждают целесообразность применения более сложного метода на основе вертикального разбиения.