Построение потоковой stateful-обработки данных на Akka. Статья Сергея Казанцева для Хабр

Сергей Казанцев, ведущий консультант бизнес-направления Fast Data, рассказал об идее совместить Akka Stream, Akka event sourcing (typed persistence) и Akka cluster sharding для реализации stateful stream processing.

В статье идет речь о потоковой обработке данных – архитектурном паттерне, при котором система обрабатывает данные, которые поступают из бесконечных источников, и формирует результаты в реальном времени.

Потоковая обработка достаточно востребована в отраслях, где есть необходимость в наиболее быстрой реакции на поток событий:

• борьба с мошенничеством: фрод, атаки на инфраструктуру, детектирование аномального поведения; 
• маркетинг в режиме реального времени: кредиты, скоринги, реклама; 
• интернет вещей (IoT): обработка и реакция на данные с датчиков в различных областях (транспорт, промышленность).

При решении большого ряда бизнес-задач возникает необходимость в промежуточной агрегации данных, их аккумуляции, определении границ. Подобные задачи всегда создавали проблемы при реализации потоковой обработки. 

Эксперт также рассматривает в статье наиболее популярные фреймворки, позволяющие построить масштабируемую и надежную потоковую обработку, среди которых, например, Apache Flink и Apache Spark.

Подробнее читайте в статье на Хабр