Аналитическая платформа для исследовательской компании Mediascope на базе технологий Big Data
Решение
Аналитическая платформа Mediascope Data Platform позволяет собирать и обрабатывать в унифицированном виде большие массивы разнородных данных о контакте человека с медиа и рекламой, его потребительском поведении. Благодаря этому платформа является технологической основой для кросс-медиаисследований и дает возможность объединить данные со всех медиа каналов: телевидение, web, радио и др. для получения комплексной картины потребления медиаконтента по всей территории России всеми слоями населения.
Кроме собственных данных Mediascope, в платформу могут загружаться и обрабатываться данные партнеров: интернет-площадок, телеком-операторов, сторонние данные о покупках и потребительском поведении человека.
«Сырые» данные о потреблении медиаконтента в потоковом режиме попадают в платформу через менеджер очередей Kafka и загружаются в первичный слой на HDFS при помощи Apache NiFi. Далее происходит формирование аналитического слоя, где данные консолидируются, очищаются и производятся вычисления. Это осуществляется при помощи Apache Spark под управлением Apache Airflow. Доступ к уже готовой аналитике организован с использованием системы управления базами данных Apache Hive, которая позволяет выполнять запросы, агрегировать и анализировать данные, хранящиеся в Hadoop, используя традиционный SQL-интерфейс.
Важным фактором успеха проекта стало использование акселератора разработки DATAGRAM, который позволяет проектировать потоки данных в визуальном редакторе и генерировать исполняемый Scala – код автоматически. Это значительно ускорило и упростило процесс разработки, а также дало возможность привлекать ETL и SQL-разработчиков для проектирования потоков обработки данных c использованием библиотеки Apache Spark.
Отзыв заказчика
Нам удалось найти баланс подходов классического marketing research и data science, чтобы одновременно оставаться надежным поставщиком аналитики и отвечать запросам больших данных. Новая платформа позволит обеспечивать обработку данных об аудитории всех ведущих игроков медиа-рекламного рынка – телеканалов, интернет-площадок, радиостанций, издательских домов.
Результаты
Mediascope Data Platform позволяет обеспечивать обработку данных об аудитории, получаемых от более 250 радиостанций, 300 телеканалов, а также 4000 ведущих интернет-площадок, что составляет до нескольких петабайт данных в год. Это дает возможность Mediascope предоставлять клиентам доступ к данным на глубоком уровне с высокой степенью оперативности и быстрее запускать новые аналитические продукты в области кросс-медиа аналитики.
