Управление перевозками в режиме реального времени для компании «ПЭК» с использованием технологий big data и stream processing
Решение
Специалисты «Неофлекс» и «ПЭК» совместными усилиями спроектировали цифровую платформу, которая позволяет автоматизировать операционную модель логистики. Для российского рынка логистики «Центр управления перевозками» (ЦУП) – уникальное решение с технологической точки зрения.
Решение объединяет в себе стек opensource технологий Big Data и Fast Data: микросервисы написаны с использованием Akka Framework, а задачи потоковой обработки данных реализованы с помощью Spark Streaming, обмен сообщениями реализован с помощью Apache Kafka, оперативные данные хранятся в IMDB, для срочной отчетности используется PostgreSQL, а для хранения исторических данных - кластер Hadoop, интеграция с другими системами ИТ-ландшафта осуществляется с помощью IBM Integration Bus.
В части DevOps был реализован конвейер непрерывной интеграции и доставки, включающий следующие задачи: автоматизация управления релизами (Release Management), автоматизация управления конфигурационными параметрами сред, автоматизированное функциональное и нагрузочное тестирование, централизованный мониторинг и логирование.
Конвейер непрерывной интеграции и доставки позволил объединять в единый релиз и выносить на продуктив обновления инфраструктурных компонентов решения, микросервисов, обновления классической сервисной части.
Автоматизированное управление релизами реализовано за счет интеграции Jira, Git и Jenkins, а также внедренных правил ведения проектных задач в Jira, управления исходным кодом и ветками разработки.
С целью контроля конфигурации приложений на средах, автоматизации управления и их установки был внедрён Ansible.
Автоматизированное функциональное и нагрузочное виды тестирования были внедрены как обязательная часть пайплайна выноса обновлений и релизов на продуктив.
С целью упрощения локализации сбоев была внедрена централизованная система мониторинга на Zabbix (агрегация и хранение исторических данных), создан набор дашбордов в Grafana с графиками ключевых метрик компонентов системы и настроен аллертинг с оповещением в проектные чаты.
Автоматизация производственных процессов (CI/CD pipelines) реализовывалась при активном участии и поддержке менеджмента заказчика и потребовала большой синхронизации DevOps команды, команд разработки и тестирования, что позволило внедрить CI/CD за 3 месяца.
Отзыв заказчика
В моей практике это самый масштабный проект по числу пользователей, систем и платформ, которые в нем задействованы. А также по отдаче для бизнеса, по уровню тех показателей, на которые должна выйти компания в итоге. Специалисты компании «Неофлекс» показали нужное понимание задачи и необходимую экспертизу, продемонстрировали технологии, способные обеспечить расчет модели на больших объемах информации в режиме, близком к реальному времени – речь идет о Streaming Processing и In-Memory Computing.
Результаты
Каждую секунду ЦУП обрабатывает свыше 500 операций, аккумулируя все сведения, необходимые для построения точных прогнозов загрузки складов и эффективного управления операционной деятельностью.
В результате заказчик смог существенно увеличить эффективность планирования перевозок и повысить точность мониторинга складских остатков. Благодаря ЦУП сегодня компания «ПЭК» может спрогнозировать загрузку 189 собственных складов по всей России на месяц вперед.
Запуск ЦУП позволил повысить ряд критически важных для логистического бизнеса показателей за счет создания единой цифровой платформы, объединившей различные бизнес-подразделения.
Кроме того, компания «ПЭК» стала более эффективно планировать транспортные потоки и смогла улучшить планомерность работы отделений. Благодаря внедрению ЦУП увеличилась скорость перевозки грузов при снижении стоимости фрахта в пересчете на один заказ. Средний показатель соблюдения сроков за пять месяцев — 96%.
Новости и СМИ о проекте
