Единая веб-платформа для инженеров данных: как мы объединили 10+ микросервисов и сократили time-to-market
30 ноября, 17:00, «Кейптаун»
Мнение Программного комитета о докладе
История о том, как вдвоем за несколько месяцев можно навайбкодить платформу для управления 14к потоками данных, которой могут пользоваться не только люди, но и агенты через MCP. Спикер расскажет о сложностях разработки слабыми моделями и о том, как они сделали ИИ-ассистента для 70% запросов.
Целевая аудитория
Аналитики, инженеры данных. Все, кто связан с данными.
Тезисы
Работая в крупной ритейл-компании, мы управляем более чем 12 000 потоками данных и хранилищем объёмом 12+ петабайт. Инженеры данных ежедневно работают с набором разрозненных инструментов: среды разработки, GitLab, Airflow, SQL-движки, различные сервисы хранения и трансформации.
Такой «зоопарк» увеличивает time-to-market, усложняет онбординг и создает зависимость от контекста конкретных людей и команд.
Мы решили объединить ключевые процессы разработки потоков данных в единую веб-платформу: одно входное окно для создания, редактирования и оркестрации пайплайнов, интегрированное с Airflow и GitLab через API.
В докладе расскажем: - как родилась идея и как мы её «продавали» внутри, - как проектировали архитектуру из 10+ микросервисов, - как решали задачи сложной интеграции, - почему выбрали low-code-подход, - какие ошибки допустили, - и какие результаты получили на текущем этапе.
Это практический кейс о создании внутреннего продукта для data-инженеров: с реальными ограничениями по ресурсам, итерациями, отказами и эволюцией решения.
Спикеры
X5 Tech
Другие доклады секции
Yandex Infrastructure
