Evals в production: как измерить пользу LLM-агента в вашей системе
Мнение Программного комитета о докладе
Как оценивать AI-агентов в production, а не в «стерильных» бенчмарках? На примере игрового движка EdenSpark разберём sandbox-задачи и диагностические метрики. Узнаете, как превращать ошибки продакшена в задачи бенчмарка и строить надёжный release gate. Подходы можно адаптировать под свой стек.
Целевая аудитория
Инженеры и тимлиды, внедряющие LLM-агентов в свои продукты и процессы разработки. Все, кто хочет понять, насколько реально можно доверять AI-агенту в production и как это измерить. Опыт построения evals не требуется.
Тезисы
Публичные лидерборды говорят, какая модель "умнее", но не сообщают о главном - будет ли агент полезен именно в вашей системе - с вашим API, компилятором, legacy и ограничениями.
Разрыв между public score и production usefulness - первое, с чем сталкивается команда, внедряющая LLM-агентов.
Расскажу, как мы строили собственный evals benchmark для AI-агентов, встроенных в игровой движок и его скриптовую экосистему: - почему оценивать важно систему, а не модель, и как спроектировать eval-задачи как изолированные воспроизводимые sandbox-среды - как вместо единого score построить карту навыков агента: исправление ошибок, работа с документацией и API, end-to-end-сценарии, безопасность - зачем мы отказались от агрегированного score в пользу семи независимых диагностических сигналов
Слушатель уйдет с практическим фреймворком, который можно адаптировать под свой стек.
Спикеры
Gaijin Entertainment
