ksqlDb или SQL как инструмент обработки потоков данных. Статья Neoflex для Хабр

Рассказываем в материале на Хабр о том, что экосистема Kafka к настоящему времени находится на пути к полноценному ETL-инструменту. Однако, до сих пор ничего не было сказано об основной части ETL-процесса – трансформации данных. Поскольку бизнес-требования всегда уникальны, то в каждом случае это отдельная задача, требующая индивидуального подхода. В нашей новой статье предлагаем рассмотреть один из таких инструментов, получивших развитие в последние годы, а именно – базу данных ksqlDB.

Благодаря платформе ksqlDB у Apache Kafka есть возможность обработки, создания и хранения потоков данных с помощью простых и понятных SQL-запросов. Инструмент позволяет выполнять различные операции потоковой аналитики больших данных: фильтрация, соединение, агрегация, создание материализованных представлений. Это позволяет аналитикам и разработчикам активно использовать эту платформу в различных задачах. Эксперты Neoflex приводит примеры построения потока данных, а также рассматривают варианты, которые может предложить ksqlDB в вопросе преобразования форматов.

Подробнее читайте в статье на Хабр