Алексей Жадан рассказал на DevDays Moscow об инструментах разработки и развёртывания моделей машинного обучения

8-10 июня в Москве прошла международная онлайн-конференция DevDays Moscow 2021, посвященная разработке программного обеспечения, в рамках которой ведущие эксперты рынка поделились опытом использования новых технологий и практик с сообществом разработчиков.

В мероприятии принял участие Алексей Жадан, DevOps-архитектор компании Neoflex. В своем выступлении он рассказал об инструментах разработки и развертывания моделей машинного обучения, а также о подходе к модели как к коду, который, включает в себя:

• контролируемый доступ к коду и артефактам моделей;
• логирование изменений;
• возможность отладки на тестовом окружении;
• отчет и уведомления по результатам исполнения моделей.

Алексей сделал обзор cреды разработки и документирования JupyterHub, возможностей библиотеки MLflow и запуска с ее помощью модели в rest-режиме. Кроме того, провел демонстрацию библиотек Pandos и Koalas для обработки и анализа данных, рассказал о технологии Spark и ее использовании в Kubernetes. Эксперт также показал работу Apache Airflow для batch-запуска отдельных моделей и создания цепочек из них, познакомил слушателей с технологией DVC для хранения входных и выходных данных в стиле Git.

Во второй половине доклада эксперт Neoflex продемонстрировал управление жизненным циклом машинного обучения из Jira: от подготовки окружения разработчиков до выхода модели в продуктив.

Полная версия выступления доступна по ссылке.