Энтропия и выявление аномалий сетевого трафика. Статья Даниила Волкова для Хабр

В новой статье для Хабр Даниил Волков, ведущий эксперт бизнес-направления Data Science компании Neoflex, рассказывает про энтропийные временные ряды, как методе обнаружения аномалий в сетевом трафике. Среди плюсов такого подхода: масштабируемость, чувствительность к изменениям распределений характеристик трафика, а также легкость реализации и доступность интерпретаций.

Эксперт делится в материале уже реализованным и опробованным алгоритмом обнаружения широкого класса аномалий в сети через энтропийные временные ряды. Основная идея алгоритма состоит в том, чтобы постоянно проводить краткосрочные прогнозы и определять разницу между прогнозами и фактически наблюдаемым значением энтропии. Энтропия служит индикатором равновесности процесса. Так, резкие ее изменения свидетельствуют о качественном изменении структуры системы.

Алгоритмы подобного вида – ценный инструмент для сетевых операторов и отделов информационной безопасности различного рода предприятий. Его можно легко настроить, быстро развернуть и не нужны данные для обучения.

Кроме того, в статье автор приводит ряд исследований, касающихся экспериментов с разными типами атак, а также анализируем полезность различных атрибутов для обнаружения этих атак с помощью энтропийного подхода. Помимо всем известной энтропии Шеннона (Shannon entropy), были опробованы Hartley entropy, Renyi’s entropy и Renyi’s generalized entropy.

Наглядно показан энтропийный анализ, в том числе, осуществленный в Neoflex, когда аномалии «естественные» и находятся в данных заказчика.

Подробности читайте в статье на Хабр