Управление сложностью legacy-кода в Big Data проектах с помощью инструмента Datalog. Статья Павла Симанихина для Habr

В нашей новой статье для Хабр рассказываем о сложности анализа того, что представляет собой Big Data проект: как ведется работа с данными, как собирается та или иная витрина, какие для нее берутся данные. В частности описывается подход с использованием инструмента Datalog для управления сложностью legacy-кода в таких проектах. Данный инструмент предоставляет возможность раскрывать топологию объектов проекта в разрезе Dataflow, создавая автообновляемую документацию на основе исходных кодов. В статье также описаны преимущества инструмента Datalog:

• Для создания Dataflow диаграмм не требуется переделка процессов у заказчика. Данные извлекаются из существующих проектов;
• Построение диаграммы, описывающей проект, опирается только на исходные коды. Это значит, что такая диаграмма может показывать и те этапы, которые не попадают, например, в Data Catalog;
• Для описания проекта применяются не документация, а ряд правил, которые записаны, сохраняются и помогают транслятору разбирать проект.

Подробности читайте в статье.