Современный Text2SQL: разрушение мифов и выход на качество более 85%
Другие доклады
- 26 гейтов недоверия: как мы отдали прод AI-агентуВолков Денис, Разумовский Дмитрий

Спикеры
6 лет в IT. Сейчас занимаюсь RnD в части внедрения AI в платформу данных Т-Банка.
Отзыв программного комитета
Олег Сагитов из RND Т-Банка расскажет, как собрать виртуального дата-аналитика для 10 ПБ данных и 500 000 таблиц с качеством ответа до 95%. Разберём agent-facing-проекцию данных, таксономию Human-in-the-Loop и метрики, по которым видно, что SQL отвечает на вопрос пользователя.
Кому полезно
Platform, Data, ML-инженеры и все, кто хоть раз пытался сгенерировать SQL с помощью LLM и потерпел неудачу.
О чём доклад
Большинство Text2SQL-систем по-прежнему строятся вокруг одной гипотезы: если SQL получился неправильным, модели не хватило контекста. Поэтому начинает переписываться промпт, к нему добавляются фрагменты схем хранилища, метаданные из data catalog и задача вновь отправляется той же модели. В production DWH упрётся в потолок 35% качества. Если у вас есть впечатление, что семантический слой - не серебряная пуля, решающая задачу Text2SQL, то вы правы.
Приходите на доклад, где мы разберём: * как создать agent-facing-проекцию данных хранилища и перестать угадывать решения задач, которые не описаны в скиллах; * почему важно создать таксономию Human-in-the-Loop как контракт между человеком и Text2SQL; * какие есть способы генерации SQL агентами и зачем их динамически выбирать по риск-метрикам; * какие эксперименты и метрики позволяют доказать, что сгенерированный SQL содержит ответ на вопрос пользователя.