Настройка DBT + Spark для кластера Cloudera on-prem. Статья Павла Симанихина для Хабр

В нашей новой статье для Хабр рассказываем про управление качеством кода при разработке Spark ETL, чтобы не превратить работу над проектом в полет души.

Рассказываем о плюсах подхода и недостатках на проектах, а также о приложении Data Build Tool (DBT), основанном на похожих принципах, предоставляющее возможность описать ETL-трансформацию как набор SQL-запросов и выполнить их на Spark. В материале тестируем приложение на всех этапах и делимся своим экспертным мнением:

• Что предлагает продукт и что скрыто в деталях использования приложения?
• Как DBT справляется с задачами, которые приходилось ранее решать самостоятельно?
• Какие сложности могут ожидать при использовании приложения и какие есть способы, чтобы их решить?

Подробности читайте в статье.