Хранилище для Почты

24 ноября, 17:00, «h3: Яндекс трек»

Средняя сложность

Доклад принят в программу конференции

Хранилища

Обработка данных

Оптимизация

Миграции данных

Электронная почта

Отказоустойчивость

Хранилища

Обработка данных

Оптимизация

Миграции данных

Электронная почта

Отказоустойчивость

Оптимизация производительности

Распределенные системы

Бэкенд / другое

Базы данных / другое

Мнение Программного комитета о докладе

Почта mail.ru в своей основе имеет высокоэффективную систему хранения писем и вложений. Хранилище глубоко оптимизировано под конкретную бизнес-задачу: написано на низкоуровневых языках программирования, использует самодельные структуры данных и индексов, тесно связано с железом, на котором работает.

Целевая аудитория

Backend-разработчики, архитекторы, CTO. Доклад будет интересен тем, кто сейчас пишет свои специализированные хранилища.

Тезисы

Скачать презентацию

Все презентации конференции

На докладе расскажу о технических сложностях, с которыми мы столкнулись при разработке своего хранилища. Задачи, которые решали: * эффективная утилизация больших HDD (меньше iops на терабайт хранилища); * переезд на более cost-effective серверную платформу (сокращение количества занимаемых юнитов в ДЦ); * обеспечение SLA 99.999% доступности данных в течение года; * переживание отключения ДЦ (ряда/стойки/сервера) без ручного вмешательства;

Архитектура потребовала распила письма на несколько составляющих и 2 вида индексов, чтобы хранилище смогло утилизировать диски в 18 ТБ полностью. Индексы не помещаются в память, поэтому применяются разные приемы для ускорения их загрузки в кэш. Для обеспечения более линейной записи группы юзеров объединяются в шарды, внутри которых ведется один xlog на всех. Собственное BLOB-хранилище с кворумной записью. И другие приемы.