Нормализация событий в SIEM: почему мы отказались от Vector в пользу собственного решения

Средняя сложность

Доклад принят в программу конференции

Обработка данных

Оптимизация

Прочие языки

Оптимизация производительности

Распределенные системы

ETL

Обработка данных

Оптимизация

Прочие языки

Оптимизация производительности

Распределенные системы

ETL

Мнение Программного комитета о докладе

На потоке 5 млн событий в секунду Vector достиг предела производительности. Михаил Соловьёв расскажет, как в VK перестроили конвейер нормализации SIEM на ECMAScript и V8, почему попытка встроить V8 в Vector провалилась и какие изменения дали прирост производительности на 30%.

Целевая аудитория

Разработчики высоконагруженных систем. Архитекторы и инженеры SOC.

Тезисы

Расскажем, как в пайплайнах нормализации событий мы достигли предела производительности Vector, в чём были узкие места и как мы с их учётом разработали и внедрили собственное решение, на 30% более производительное в нашем сеттинге.

Обсудим основные идеи, которые позволили нарастить производительность: замену интерпретации VRL-кода на JIT-компиляцию с использованием движка V8, ленивое декодирование и раннее кодирование событий, оптимизации над графом обработки.

Опишем control plane, который мы построили над новыми кластерами нормализации: failover, мониторинг, управление версиями пайплайнов и A/B-тестирование.

Спикеры

Михаил Соловьев

20 лет работает в IT. Раньше занимался компиляторными технологиями: создавал средства анализа исходного и бинарного кода, а теперь разрабатывает высоконагруженные системы для SOC в VK. Пишет и исполняет музыку, занимается в тренажёрном зале.