на HighLoad++

Шесть лет назад инциденты у нас считали в Excel, и вело эту таблицу даже не ИТ, а бизнес. Сегодня у нас есть централизованная наблюдаемость, SLO/SLI на собственной метрике "негативное влияние" и автоматизация инцидентов вплоть до ботов и AI-ассистентов. Расскажу о пяти ошибках, которые мы совершили по дороге: - ждали идеальной модели; - сами решили, что важно бизнесу (те самые "деревянные рубли"); - сделали Zabbix центром всего; - добавляли мониторинг уже после сбоя; - автоматизировали хаос. В цифрах: MTTR снизился с 4 часов до 30 минут, доступность выросла до 99,9%. В конце дам чек-лист: с чего начать, если у вас нет своей SRE-команды.

Мы строим облачный гиперскейлер с нуля. Анализируя референсы, мы нашли интересный факт: в 2022 году AWS рассказал, что аутентифицирует более полумиллиарда API-запросов в секунду. Мы спросили себя: а сколько это в железе? И вместо оценок на салфетке собрали стенд проверки HMAC-подписей — сначала наивно, потом всерьёз. Пройдём путь запроса от подписи до вердикта: каскад деривации ключей, SigV4 байт в байт, компактный кадр верификации вместо тяжёлого callout. Разгоним стенд с замерами «до/после» на каждом шаге — от 90 тысяч до миллиона RPS. По дороге — главный инсайт: выключение криптографии ускоряет систему лишь на 11%. Лимит миллиарда — не процессор, а сеть. Все цифры — с открытой методикой и воспроизводимым кодом. Финал — честная арифметика миллиарда: тактов на запрос, терабиты на провод, узлы на стойку.

Мы хотели построить микросервисную SaaS-платформу, но вместо независимо развёртываемых сервисов получили распределённый монолит. Сервисы зависели от общей библиотеки контрактов, общались посредством RPC через RabbitMQ, обращались к базе данных и Redis через специальные микросервисы и образовывали циклические зависимости. В результате систему можно было тестировать и развёртывать только целиком, а один деплой занимал больше полутора часов. На реальных примерах я разберу архитектурные и инфраструктурные решения, которые постепенно сделали систему хрупкой: глобальную библиотеку с интерфейсами и DTO всех сервисов, преобладание интеграционных тестов и централизованные фикстуры, Supervisor внутри Docker-контейнеров, логирование через RabbitMQ. Доклад поможет распознать ранние признаки распределённого монолита и отличить локально удобное техническое решение от архитектурного антипаттерна. Я покажу не только последствия ошибок, но и причинно-следственные связи между ними, расскажу, какие компоненты системы пришлось переделывать и как расставлять приоритеты при распутывании подобных зависимостей.

Формат - доклад + демостенд Компании, которой нельзя отдавать данные наружу, публичные API не помогут — нужен свой ИИ-стек. В ГНИВЦ мы собрали первую версию ИИ-песочницы целиком из open-source: инференс текстовых, мультимодальных и голосовых моделей, веб и API, RAG, наблюдаемость, агенты в контуре. Год назад одна A100, сейчас ~20 GPU, ~1000 пользователей, 60B токенов за 30 дней — подняли всё "двумя" руками. Расскажу, из чего собрать такую платформу и что забрать команде из 1–2 DevOps.