Построение современных lakehouse-архитектур с помощью Presto

Lakehouse — это современная архитектура построения аналитических платформ компаний, которая совмещает лучшие качества data warehouse и data lake. Одним из популярных продуктов для построения lakehouse-систем является Presto — массивно-параллельный распределенный SQL-движок для выполнения федеративных запросов.

В данном докладе мы обсудим основные сценарии использования и построения lakehouse-архитектур, после чего посмотрим, как техническая реализация Presto помогает создавать масштабируемые корпоративные аналитические платформы: * дезагрегация storage и compute, которая позволяет масштабировать вычислительные ресурсы без перемещения данных; * коннекторы к большому количеству целевых систем с возможностью гибких pushdown-вычислений; * продвинутая работа с сырыми данными с использованием современных технологий Apache Iceberg и Delta Lake; * кэширование сырых данных на воркерах для уменьшения latency и стоимости работы с object storages; * высокопроизводительный массивно-параллельный компилируемый SQL-движок.