Как проектировать потоковую обработку данных устройств

Это инженерный материал о проектировании потоков телеметрии и событий от устройств. Он не является отчётом о клиентском проекте, медицинской рекомендацией или подтверждением характеристик конкретного оборудования.

// Опишите сообщение

Начните с контракта сообщения: идентификатор устройства, время события, версия схемы и полезная нагрузка. Зафиксируйте единицы измерения, допустимые значения и правила обновления схемы. Версия должна проверяться до помещения сообщения в общий поток.

// Спроектируйте доставку

Разделите приём, буферизацию и обработку. Определите, что происходит при повторной доставке, разрыве связи и задержке устройства. Идемпотентный ключ, повторяемая обработка и очередь ошибок помогают восстановить поток без ручного редактирования данных.

// Измеряйте поток

Наблюдайте задержку от события до обработки, долю отброшенных сообщений, заполнение очередей и расхождения между источниками. Пороговые значения зависят от конкретной задачи и должны быть согласованы с владельцем продукта; этот материал не задаёт клинических или нормативных порогов.

Перед запуском проверьте поток на воспроизводимом наборе событий, затем добавьте трассировку и понятный маршрут отката. Так команда видит не только текущую скорость, но и качество данных на каждом участке.