Change Data Capture из SQL на Apache Flink или как превратить обычную таблицу в стрим. Выступление Александра Сергеенко на конференции Podlodka Backend Crew

10 ноября, в рамках онлайн-конференции Podlodka Backend Crew, посвященной IT нового формата, выступил Александр Сергеенко, ведущий эксперт подразделения Fast Data компании Neoflex.

На сессии, посвященной event-driven системам, потоковой обработке и связанных с ними архитектурных шаблонов, эксперт поделился опытом компании Neoflex в реализации паттернов event-carried state transfer и CDC на базе технологического стека экосистемы Apache Flink.

Александр отметил, что точки пересечения потоковых приложений с хранилищами в виде традиционных баз данных обычно сотканы из компромиссных решений и часто противоречивы. Особую сложность представляют сегменты, где БД выступают источником изменений, определяющих поведение потоковой части системы. В своем докладе эксперт затронул бизнес-сторону и сценарии применения, теоретические варианты реализации и практическую основу на базе Apache Flink CDC Connectors. Кроме того, провел короткую сессию живого кодинга, реализовав небольшой демо-сценарий.

Видеозапись выступления смотрите по ссылке