Как быстро разрабатывать сервисы обработки данных в реальном времени с помощью PySpark Structured Streaming и Kafka. Статья Neoflex на Хабр.

Эксперт Neoflex рассказывает о том, как научиться писать простейшие процессы потоковой обработки данных с применением фреймворка PySpark, взаимодействовать с Kafka и читать/писать сообщения в форматах JSON и AVRO. Такой подход позволяет в короткие сроки сделать выгодное предложение клиенту, вовремя заметить аномалию в системе или же отображать актуальные данные. Статья обобщает базовые шаги по установке и началу работы с PySpark Structured Streaming при участии брокера сообщений Kafka, что позволяет описывать системы обработки данных любой сложности и масштабируемости.

Подробнее читайте в статье на Хабр