Ключевые инженерные кейсы / Диагностика у клиентов

On-premise диагностика SCAILIUM

Я предложил и меньше чем за два месяца разработал решение для диагностики клиентских установок SCAILIUM. Оно собирало логи, метрики и трейсы запросов и заменило прежний процесс на базе ELK.

Компания
Alar Studios
Продукт
SCAILIUM
Роль
Senior Software Engineer (Python)
Мой вклад
Идея, Python-сервис, API, тесты, Docker Compose, дашборды и документация
Стек
Python, Flask, Grafana, Loki, Prometheus, Tempo, Docker Compose
Меньше двух месяцевРазработка
Около 500 инженеровПользователи
Около 20 компанийКлиенты
8,7 из 10Оценка
Около часаРасследование

overview

Обзор

SCAILIUM работает на инфраструктуре клиентов. Инженерам клиентов нужны диагностические данные из собственных установок, а компаниям нужен пакет, который можно развернуть без предоставления внешней команде доступа к своим системам.

Предыдущее решение на базе ELK показывало логи, но не давало единого пути от метрик нод к событиям приложения и трейсам запросов. Расследования занимали несколько часов, а иногда и больше.

previous workflow

Предыдущий процесс

Инженеры проверяли метрики хостов и искали события в логах внутри клиентского окружения. Если критическая ошибка, тяжёлый запрос или узкое место затрагивали несколько источников данных, последовательность событий приходилось восстанавливать вручную.

Решение также должно было одинаково работать в разных клиентских установках. SCAILIUM передавал готовый релиз, а клиенты самостоятельно разворачивали его в своей инфраструктуре.

constraints

Ограничения

  • Весь стек должен был работать on-premise.
  • Клиентам требовалась воспроизводимая поставка через Docker Compose.
  • Нужно было собирать метрики нод и телеметрию из бинарного файла SCAILIUM.
  • Уровни логов варьировались от critical до debug.
  • Решение не могло зависеть от управления клиентской инфраструктурой со стороны Alar Studios.

decision

Решение

Я предложил небольшой Flask-сервис вокруг Grafana, Loki, Prometheus и Tempo. Сервис подготавливал и передавал диагностические данные, а компоненты observability хранили и отображали логи, метрики и трейсы запросов.

C++-разработчики добавили необходимые точки сбора телеметрии в бинарный файл SCAILIUM. Я написал Python-сервис и большую часть окружающего решения, включая тесты, сборку, дашборды и документацию.

Архитектура

Публичная схема системы

  1. 01Ноды SCAILIUM
  2. 02Логи, метрики и трейсы запросов
  3. 03Python-сервис
  4. 04Loki, Prometheus и Tempo
  5. 05Дашборды Grafana

Все компоненты работают внутри on-premise окружения клиента.

role

Моя роль

Я предложил проект и проработал продуктовые, архитектурные и технические вопросы с заинтересованными командами. Затем разработал Flask-сервис, API, поставку через Docker Compose, дашборды и техническую документацию.

Добавил автоматические тесты, сопровождал общий релизный репозиторий и объяснял устройство решения новым инженерам. C++-разработчики отвечали за необходимые изменения внутри бинарного файла SCAILIUM.

testing

Тестирование

В проекте было около 300 автоматических сценариев и 69% покрытия кода. Тесты проверяли бэкенд и автоматизировали операции с базой, включая контроль того, что логи и телеметрия поступили в ожидаемом виде.

outcome

Результат

Все клиентские установки перешли с прежнего процесса на базе ELK на новый диагностический пакет. Им пользовались около 500 инженеров примерно в 20 компаниях.

Разработчики клиентов оценили решение в среднем на 8,7 из 10. Расследование, которое раньше занимало несколько часов или больше, обычно удавалось завершить примерно за час.

lessons

Выводы

Проектирование от сценария расследования

Работу нужно было строить вокруг полного расследования, а не отдельного лога или метрики. Поэтому решение объединило состояние нод, события приложения и трейсы запросов.

Поставка вместе с настройками

Клиенты разворачивали решение самостоятельно, поэтому конфигурация и документация были частью поставки. Docker Compose давал всем установкам одинаковую отправную точку.

Обратная связь после реального использования

Оценку 8,7 из 10 дали разработчики клиентов после работы с выпущенным решением. Они оценивали весь процесс расследования, а не отдельный дашборд.