Как развернуть кластерную версию Apache Airflow: пошаговая инструкция

В статье на Хабр эксперт Neoflex рассказывает о проекте в одной из крупнейших строительных компаний по созданию ЕХД, в которое предполагалось мигрировать 100+ систем-источников. В качестве оркестратора был выбран Airflow, но с учетом предполагаемого объема выполняемых задач, необходимо было установить кластерную версию, чтобы распределять нагрузку и при необходимости легко добавлять новые мощности. Часто на практике приходится сталкиваться с тем, что отлично задокументированный продукт не «заводится» за пять минут, либо доступен быстро, но в ограниченной конфигурации. Airflow не стал исключением: подробной инструкции фактически нигде не нашлось, поэтому автор статьи делится своим опытом и лайфхаками пошаговой установки Airflow, которая займет пару часов, что значительно меньше того времени, которое было потрачено на изучение вопроса и разбор встречающихся сложностей при первой установке. 

Подробнее читайте в статье на Хабр