Дайджесты для фоновой компактификации динамических таблиц YTsaurus
1 декабря, 12:20, «Рио-де-Жанейро»
Мнение Программного комитета о докладе
Традиционно глубокий взгляд на внутрянку баз данных от ребят из YTsaurus.
Целевая аудитория
Разработчики и SRE, которые работают с базами данных (особенно на основе LSM-деревьев) и высокими нагрузками, а также пользователи и присматривающиеся к YTsaurus.
Тезисы
Фоновая компактификация для удаления устаревших данных в LSM-деревьях традиционно запускается по таймеру - вслепую: на кластерах YTsaurus до 90% данных переписывались без изменений, а период приходилось подбирать вручную. Мы научили компактификацию запускаться по данным: у каждого чанка есть дайджест — сводка в несколько килобайт, по которой заранее видно, сколько места освободит перезапись. Расскажем про структуры данных внутри дайджестов, три алгоритма на их основе и грабли, собранные при раскатке. В продакшне подход срезал поток компактификации в разы, поднял её КПД на порядок и полностью убрал ручную настройку.
Спикеры
Яндекс
Другие доклады секции
Yandex Cloud
STM Labs
