Neoflex рассказал на Big Data Days о подходах к управлению сложными Big Data-проектами с помощью инструмента DataLog

28 сентября в Москве прошла международная конференция Big Data Days 2021, посвященная большим данным, машинному обучению и искусственному интеллекту. В мероприятии приняли участие разработчики, специалисты в области ИТ и пользователи, которые поделились опытом, обсудили передовые методы работы в данных областях.

Павел Симанихин, ведущий консультант центра компетенций Big Data компании Neoflex, рассказал в своем выступлении о подходах к управлению сложными Big Data-проектами. Эксперт представил инструмент DataLog, позволяющий строить каталог данных на основании артефактов проектов (исходных кодов). В частности, отметил следующие преимущества данного подхода:

• создается автообновляемая и актуальная документация;
• информация извлекается из артефактов проекта и формирует каталог данных;
• не требуется разработка единого регламента работы с данными и исходным кодом;
• есть возможность записать правила трансляции проекта, делать unboxing больших проектов.

​Такой подход позволяет не менять регламенты работы с данными в компании, а также не требует переделывать старые проекты или внедрять общие подходы к разработке.

Смотрите полную версию выступления по ссылке.