Ключевые инженерные кейсы / Диагностика у клиентов
On-premise диагностика SCAILIUM
Я предложил и меньше чем за два месяца разработал решение для диагностики клиентских установок SCAILIUM. Оно собирало логи, метрики и трейсы запросов и заменило прежний процесс на базе ELK.
- Компания
- Alar Studios
- Продукт
- SCAILIUM
- Роль
- Senior Software Engineer (Python)
- Мой вклад
- Идея, Python-сервис, API, тесты, Docker Compose, дашборды и документация
- Стек
- Python, Flask, Grafana, Loki, Prometheus, Tempo, Docker Compose
overview
Обзор
SCAILIUM работает на инфраструктуре клиентов. Инженерам клиентов нужны диагностические данные из собственных установок, а компаниям нужен пакет, который можно развернуть без предоставления внешней команде доступа к своим системам.
Предыдущее решение на базе ELK показывало логи, но не давало единого пути от метрик нод к событиям приложения и трейсам запросов. Расследования занимали несколько часов, а иногда и больше.
previous workflow
Предыдущий процесс
Инженеры проверяли метрики хостов и искали события в логах внутри клиентского окружения. Если критическая ошибка, тяжёлый запрос или узкое место затрагивали несколько источников данных, последовательность событий приходилось восстанавливать вручную.
Решение также должно было одинаково работать в разных клиентских установках. SCAILIUM передавал готовый релиз, а клиенты самостоятельно разворачивали его в своей инфраструктуре.
constraints
Ограничения
- Весь стек должен был работать on-premise.
- Клиентам требовалась воспроизводимая поставка через Docker Compose.
- Нужно было собирать метрики нод и телеметрию из бинарного файла SCAILIUM.
- Уровни логов варьировались от critical до debug.
- Решение не могло зависеть от управления клиентской инфраструктурой со стороны Alar Studios.
decision
Решение
Я предложил небольшой Flask-сервис вокруг Grafana, Loki, Prometheus и Tempo. Сервис подготавливал и передавал диагностические данные, а компоненты observability хранили и отображали логи, метрики и трейсы запросов.
C++-разработчики добавили необходимые точки сбора телеметрии в бинарный файл SCAILIUM. Я написал Python-сервис и большую часть окружающего решения, включая тесты, сборку, дашборды и документацию.
Архитектура
Публичная схема системы
- 01Ноды SCAILIUM→
- 02Логи, метрики и трейсы запросов→
- 03Python-сервис→
- 04Loki, Prometheus и Tempo→
- 05Дашборды Grafana
Все компоненты работают внутри on-premise окружения клиента.
role
Моя роль
Я предложил проект и проработал продуктовые, архитектурные и технические вопросы с заинтересованными командами. Затем разработал Flask-сервис, API, поставку через Docker Compose, дашборды и техническую документацию.
Добавил автоматические тесты, сопровождал общий релизный репозиторий и объяснял устройство решения новым инженерам. C++-разработчики отвечали за необходимые изменения внутри бинарного файла SCAILIUM.
testing
Тестирование
В проекте было около 300 автоматических сценариев и 69% покрытия кода. Тесты проверяли бэкенд и автоматизировали операции с базой, включая контроль того, что логи и телеметрия поступили в ожидаемом виде.
outcome
Результат
Все клиентские установки перешли с прежнего процесса на базе ELK на новый диагностический пакет. Им пользовались около 500 инженеров примерно в 20 компаниях.
Разработчики клиентов оценили решение в среднем на 8,7 из 10. Расследование, которое раньше занимало несколько часов или больше, обычно удавалось завершить примерно за час.
lessons
Выводы
Проектирование от сценария расследования
Работу нужно было строить вокруг полного расследования, а не отдельного лога или метрики. Поэтому решение объединило состояние нод, события приложения и трейсы запросов.
Поставка вместе с настройками
Клиенты разворачивали решение самостоятельно, поэтому конфигурация и документация были частью поставки. Docker Compose давал всем установкам одинаковую отправную точку.
Обратная связь после реального использования
Оценку 8,7 из 10 дали разработчики клиентов после работы с выпущенным решением. Они оценивали весь процесс расследования, а не отдельный дашборд.