Использование вертикального разбиения с учетом шаблонов данных для создания быстрого и недорогого облачного хранилища журналов

Exploiting Data-pattern-aware Vertical Partitioning to Achieve Fast and Low-cost Cloud Log Storage
Jiesheng Wu, Junyu Wei, Yang Wang, Guangyan Zhang, Junchao Chen, Tingtao Sun, Jiangwei Jiang, Weimin Zheng, Jiangwei Jiang
2024-01-29

облачное хранение журналоввертикальное партиционирование с учетом шаблонов данныхинкрементальное позиционированиесжатие и запросы к журналамизвлечение шаблонов времени выполнения
Облачные журналы можно классифицировать на онлайн-, офлайн- и почти онлайн-журналы в зависимости от частоты доступа. Почти онлайн-журналы используются главным образом для отладки, поэтому для обеспечения более удобного пользовательского опыта им требуется низкая задержка выполнения запросов. Кроме того, системы хранения почти онлайн-журналов должны обеспечивать низкую совокупную стоимость, включающую стоимость хранения сжатых журналов, а также вычислительные затраты на сжатие журналов и выполнение запросов. Эти требования создают сложности при разработке быстрого и недорогого облачного хранилища журналов. В данной статье предлагается LogGrep — первый инструмент для сжатия и выполнения запросов к журналам, использующий как статические, так и динамические шаблоны для структурирования и организации журнальных данных в мелкозернистые единицы. Ключевая идея LogGrep — вертикальное разбиение: каждая запись журнала сохраняется в нескольких разделах; сначала журналы разбираются на векторы переменных в соответствии со статическими шаблонами, а затем внутри каждого вектора переменных автоматически выделяются динамические шаблоны. На основе этих динамических шаблонов LogGrep дополнительно разделяет векторы переменных на мелкозернистые единицы, называемые капсулами (Capsules), и снабжает каждую капсулу сводной информацией о ее значениях. В процессе выполнения запросов LogGrep может не распаковывать и не сканировать капсулы, которые не могут содержать искомые ключевые слова, используя выделенные динамические шаблоны и метки капсул. Кроме того, показано, что интерактивная отладка может эффективно использовать преимущества метода на основе вертикального разбиения и одновременно смягчать его недостатки. Для этого LogGrep объединяет инкрементальное позиционирование и частичную реконструкцию, снижая избыточность чтения, возникающую при использовании метода на основе вертикального разбиения. LogGrep был оценен на 37 облачных журналах из производственной среды Alibaba Cloud и на общедоступных наборах данных. Результаты показывают, что по сравнению с современными методами LogGrep снижает задержку выполнения запросов и совокупную стоимость на порядок. Эти результаты подтверждают целесообразность применения более сложного метода на основе вертикального разбиения.
1
При выполнении запросов LogGrep пропускает распаковку и сканирование капсул, которые по сводкам и динамическим шаблонам не могут соответствовать ключевым словам.
2
Оценка на 37 производственных журналах Alibaba Cloud и общедоступных наборах данных показала примерно десятикратное снижение задержки запросов и совокупной стоимости по сравнению с передовыми методами.
3
Инкрементальное определение местоположения и частичная реконструкция снижают усиление чтения, обеспечивая интерактивную отладку при вертикальном разбиении.
4
Он преобразует записи журналов в векторы переменных, извлекает динамические шаблоны и разделяет векторы на капсулы с краткими сводками значений.
5
LogGrep — это инструмент сжатия и запросов к журналам, использующий статические и динамические шаблоны посредством мелкозернистого вертикального разбиения.

хранение и выполнение запросов к облачным журналам, предназначенным для режима near-line

влияние вертикального секционирования с учётом закономерностей данных, извлечения закономерностей времени выполнения и выборочной реконструкции «капсул» на задержку запросов и совокупные затраты на хранение и вычисления

Publication Details
Publication Date
2024-01-29
Journal
Publisher
ISSN
Cited by
3
Access Type
Author Information
Authors
Jiesheng Wu
Junyu Wei
Yang Wang
Guangyan Zhang
Junchao Chen
Tingtao Sun
Jiangwei Jiang
Weimin Zheng
Jiangwei Jiang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%