Системные аномалии в компьютере что это такое

Обновлено: 21.11.2024

Обнаружение аномалий – это процесс обнаружения выбросов в заданном наборе данных. Выбросы — это объекты данных, которые выделяются среди других объектов в наборе данных и не соответствуют нормальному поведению в наборе данных. Обнаружение аномалий — это приложение для обработки данных, которое сочетает в себе несколько задач обработки данных, таких как классификация, регрессия и кластеризация. Целевая переменная, которую необходимо предсказать, — является ли транзакция выбросом или нет. Поскольку задачи кластеризации идентифицируют выбросы как кластеры, в задачах обнаружения аномалий можно использовать методы кластеризации на основе расстояния и плотности.

Ourmon: инструменты обнаружения аномалий

Крейг А. Шиллер, . Майкл Кросс, Ботнеты, 2007 г.

Немного теории

Обнаружение аномалии зависит от базового уровня данных, поэтому вы должны сначала понять, что является нормальным. После того, как вы поймете нормальное, вы сможете понять ненормальное.

Обнаружение аномалий может выявить новые аномалии.

Обнаружение подписи может сказать вам, является ли конкретный пакет или файл вредоносным. Он не может распознавать новые вредоносные пакеты или новые вредоносные файлы и, следовательно, плохо справляется с атаками нулевого дня.

Обнаружение аномалий может обнаруживать только аномалии и не может их объяснить.

Хакерское правило экономии означает, что небольшие атаки или небольшие объемы спама не приносят пользы.

Статистический анализ

Антон Чувакин, . Крис Филлипс, журнал Logging and Log Management, 2013 г.

Обнаружение аномалий

Обнаружение аномалий связано с обнаружением вещей, которые никогда раньше не наблюдались. Использование базовой линии, как описано в разделе «Базовая линия», является формой обнаружения аномалий. Это верно, потому что мы отслеживаем доверительные интервалы. Что именно является примером обнаружения аномалий? Подумайте об атаке типа «отказ в обслуживании» (DoS). Если кто-то пытается атаковать вашу инфраструктуру, чтобы сделать ее недоступной для вас, вы можете использовать базовую статистику, чтобы узнать, когда ваша инфраструктура получает больше подключений, и, возможно, обнаружить отказ в обслуживании до того, как это действительно станет проблемой.

Обнаружение исключений, аномалий и угроз

Инструменты обнаружения аномалий

Обнаружение аномалий может быть выполнено с помощью чего угодно: от «интуиции» до ручного статистического анализа с использованием электронной таблицы или математического приложения, специализированных программных систем статистики, систем анализа данных сети и безопасности, таких как некоторые системы управления журналами и SIEM. Базы данных временных рядов, такие как базы данных, используемые историками данных, также могут использоваться для обнаружения аномалий; хотя эти системы обычно не представляют аномалии в конкретном контексте сетевой безопасности, Historian, настроенный для отображения сравнительных наложений событий безопасности во времени, может легко выявить опасные аномалии, которые могут указывать на кибератаку.

Инструменты NBAD, Log Management и SIEM в основном используются для обнаружения аномалий, связанных с безопасностью. Системы NBAD ориентированы исключительно на сетевую активность и могут поддерживать или не поддерживать определенные промышленные сетевые протоколы, используемые в среде диспетчерского управления и сбора данных (SCADA) или распределенных систем управления (DCS). Таким образом, использование системы управления журналами или SIEM может лучше подходить для обнаружения аномалий в промышленных сетях. Например, на рис. 8.3 показано визуальное представление аномального поведения при аутентификации для пользователя с правами администратора (справа) по сравнению с теми же данными, показанными без контекста (слева); Инструмент безопасности провел необходимый статистический анализ, чтобы показать увеличение количества входов в систему администратора на 184%, а также довел эту аномалию до сведения аналитика безопасности.

Рисунок 8.3. Представление аномального входа администратора с использованием системы SIEM.

Изображение предоставлено NitroSecurity.

Создание безопасных анклавов

Обнаружение вторжений на основе аномалий

До сих пор обсуждалось только обнаружение на основе сигнатур. Однако многие системы IDS и IPS также поддерживают обнаружение на основе обнаружения аномалий. Обнаружение аномалий использует статистические модели для определения того, когда происходит что-то необычное, исходя из того, что неожиданное поведение может быть результатом атаки.

Точные возможности будут различаться от продукта к продукту, поскольку не существует стандартного механизма обнаружения аномалий. Теоретически все, что контролируется IDS, может быть использовано для обнаружения аномалий. Поскольку сетевые потоки поддаются количественной оценке, обнаружение аномалий часто используется для выявления аномального поведения в том, какие устройства взаимодействуют и как. Эти системы, называемые обнаружением сетевых аномалий, способны обнаруживать внезапное увеличение исходящего трафика, увеличение количества сеансов, увеличение общего количества переданных байтов, увеличение количества уникальных IP-адресов назначения или другие количественные показатели.

Обнаружение аномалий полезно, поскольку для обнаружения угрозы не требуется явно заданная сигнатура.Это позволяет системам обнаружения аномалий выявлять атаки нулевого дня или другие угрозы, для которых не существует сигнатур обнаружения. В то же время, однако, обнаружение аномалий имеет тенденцию к большему количеству ложных срабатываний, поскольку доброкачественное изменение поведения может привести к предупреждению. Именно по этой причине обнаружение угроз на основе аномалий обычно используется пассивно, генерируя оповещения, а не активно блокируя подозрительный трафик.

В промышленных сетях, особенно в хорошо изолированных анклавах систем управления, поведение сети, как правило, очень предсказуемо, что делает обнаружение аномалий более надежным.

Системы обнаружения аномалий можно назвать системами обнаружения без правил. Это связано с тем, что они не сопоставляются шаблону с определенной подписью, хотя и используют правила. Однако, в отличие от обычного правила IDS, правила аномалий часто основаны на пороговых значениях и/или статистических отклонениях, как в следующем примере:

TotalByteCount от $Control_System_Enclave01_Devices увеличивается на >20%

Пример порогового правила может использовать жесткий верхний или нижний предел, который, скорее всего, определяется автоматически системой обнаружения аномалий:

Как правило, чем больше вариаций отслеживаемого сетевого трафика, тем выше вероятность того, что правила обнаружения аномалий сгенерируют ложное срабатывание.

Обнаружение аномалий также можно использовать на разных устройствах с помощью инструмента консолидации информации, такого как система управления информацией и событиями безопасности (SIEM). Это обнаружение аномалий на уровне системы более подробно обсуждается в Главе 8, «Обнаружение исключений, аномалий и угроз».

Реализация контроля безопасности и доступа

Эрик Д. Кнапп , Джоэл Томас Лэнгилл , безопасность промышленных сетей (второе издание), 2015 г.

Обнаружение вторжений на основе аномалий

На данный момент обсуждалось только обнаружение на основе сигнатур. Обнаружение аномалий также поддерживается во многих системах IDS/IPS, использующих статистические модели для обнаружения необычных явлений. Это основано на предположении, что неожиданное поведение может быть результатом атаки.

Точные возможности будут различаться от продукта к продукту, поскольку не существует стандартного механизма обнаружения аномалий. Теоретически все, что контролируется IDS, может быть использовано для обнаружения аномалий. Поскольку сетевые потоки поддаются количественной оценке, обнаружение аномалий часто используется для выявления аномального поведения в том, какие устройства взаимодействуют друг с другом и как. Эти системы, называемые обнаружением сетевых аномалий, способны обнаруживать внезапное увеличение исходящего трафика, увеличение количества сеансов, увеличение общего количества переданных байтов, увеличение количества уникальных IP-адресов назначения или другие количественные показатели.

Обнаружение аномалий полезно, поскольку для обнаружения угрозы не требуется явно заданная сигнатура. Это позволяет системам обнаружения аномалий выявлять атаки нулевого дня или другие угрозы, для которых не существует сигнатур обнаружения. В то же время, однако, обнаружение аномалий имеет тенденцию к большему количеству ложных срабатываний, поскольку доброкачественное изменение в поведении может привести к предупреждению. По этой причине обнаружение угроз на основе аномалий обычно используется пассивно, создавая оповещения, а не активно блокируя подозрительный трафик.

В промышленных сетях, особенно в хорошо изолированных зонах системы управления, поведение сети, как правило, очень предсказуемо, что делает обнаружение аномалий более надежным.

Системы обнаружения аномалий можно назвать системами обнаружения без правил. Это связано с тем, что они не сопоставляются шаблону с определенной подписью, хотя и используют правила. В отличие от обычных правил IDS, правила аномалий часто основаны на пороговых значениях и/или статистических отклонениях, как в следующем примере:

TotalByteCount от $Control_System_Zone01_Devices увеличился более чем на 20 %

Как правило, чем больше вариаций отслеживаемого сетевого трафика, тем выше вероятность того, что правила обнаружения аномалий приведут к ложноположительному результату.

Обнаружение аномалий также можно использовать на разных устройствах в сочетании с инструментом консолидации информации, например системой SIEM. Обнаружение аномалий на уровне системы более подробно обсуждается в Главе 11, «Исключение, аномалия и угроза».

Проект Sophia был разработан Министерством энергетики США (DoE), Battelle Energy Alliance (BEA) и Национальной лабораторией Айдахо (INL) как пассивный инструмент в режиме реального времени для обмена данными между устройствами и обнаружения в промышленных сетях. Инструмент изначально находится в режиме «обучения», где он может собирать и сопоставлять потоки сетевого трафика между устройствами, используя определенные сетевые коммуникации.После сбора достаточного количества данных этот «отпечаток» сети затем сохраняется, и весь будущий трафик сравнивается с этим базовым уровнем, при этом для трафика, который не соответствует предварительно определенному отпечатку, генерируются сигналы тревоги. Затем трафик исключений можно проанализировать и при желании добавить в исходный «белый список». Промышленные сети хорошо подходят для этого типа технологий, потому что они, как правило, статичны по своей природе, без большого количества новых хостов или каналов связи, добавляемых к сетевому трафику. 18

Период бета-тестирования Sophia закончился 31 декабря 2012 г., и NexDefense приобрела интеллектуальную собственность для коммерциализации и общедоступности. NexDefense продолжает работать с различными конечными пользователями и поставщиками при разработке Sophia. 19

Включить целевой мониторинг

Обнаружение аномалий

Обнаружение аномалий основано на предположении, что наблюдаемое действие является неприемлемым или заведомо недопустимым поведением, если оно не входит в предопределенные рамки допустимого поведения. Этот метод начинается с установления исходного уровня приемлемого поведения в процессе наблюдения за деятельностью, чтобы учиться и формировать мнение. Типичная модель метода обнаружения злоупотреблений состоит из следующих компонентов:

На основе всех наблюдаемых действий устанавливается базовый уровень приемлемого поведения.

Базовый уровень преобразуется и структурируется в модель, которую можно интерпретировать с помощью применимых технологий.

Наблюдаемая активность сравнивается с базовой моделью, чтобы определить, существует ли отклонение от приемлемого поведения.

Неприемлемое или заведомо плохое поведение фиксируется для отчетности.

Основное преимущество использования этого метода заключается в том, что он использует концепцию белого списка для обнаружения неприемлемого или заведомо плохого поведения; по сравнению с использованием подписей при обнаружении злоупотреблений. Важно, чтобы при установлении базового уровня приемлемой деятельности организация в настоящее время не подвергалась атаке или не присутствовала аномальная активность. В этом случае, когда система находится в процессе обучения поведению, она может ошибочно интерпретировать неприемлемое поведение как приемлемое, что приведет к увеличению количества ложноположительных или ложноотрицательных 10 обнаружений.

Теория игр для безопасности инфраструктуры

2.2.2 Основы обнаружения аномалий

Обнаружение аномалий [16] , как следует из названия, представляет собой технологию обнаружения аномального поведения или данных. Основное внимание уделяется проблеме обнаружения всех интрузивных атак на основе их аномальных действий, выходящих за рамки «нормального профиля активности» в системе. Существует два возможных подхода к решению этой задачи. Первый подход заключается в том, чтобы сосредоточиться на поведении внутренних злоумышленников и разработать новые методы обнаружения аномалий. Большинство существующих исследований относится к этой категории. Другой подход заключается не в пересмотре существующих методов обнаружения аномалий, а в построении на их основе новых методов теории игр, чтобы использовать слабость цели внутренних злоумышленников, в частности страх быть обнаруженным. Мы сосредоточимся на этом подходе в этой главе.

Было проведено значительное исследование теоретико-игрового моделирования систем обнаружения вторжений и сетевой безопасности [17–21]. Часто отмечалось, что стратегия злоумышленника зависит не только от его собственной цели, но и от «стойкости» защитника (то есть готовности защитника обеспечить безопасность даже за счет ложных срабатываний). Однако, насколько нам известно, мало внимания уделялось установлению и поддержанию репутации стойкого защитника, чтобы заставить злоумышленников отказаться от своих атак. Традиционно концепция репутации вводилась для моделирования надежности подозрительной стороны (с точки зрения честной стороны) и использовалась в рамках теории игр для обеспечения сотрудничества в распределенных системах [22]. В этой главе мы исследуем создание надежной репутации защитника (с точки зрения злоумышленников) и ее влияние на обнаружение вторжений от внутренних атак.

Мы рассматриваем взаимодействие между защитником и (многочисленными) нападающими как повторяющуюся игру. Основная идея состоит в том, чтобы защитник тщательно выбирал свою стратегию в начале, чтобы создать желаемую репутацию жесткости (т. е. готовность обнаружить и наказать нападающих даже с высокой ценой ложных тревог), что может заставить атакующих отказаться. их атаки и в долгосрочной перспективе приводят к снижению затрат. Типичным примером этой стратегии из реальной жизни является наступление полиции на преступную деятельность, направленную на запугивание потенциальных преступников и дальнейшее снижение уровня преступности. Теоретические основы этой стратегии, особенно роль репутации в повторяющихся играх, изучались в литературе по теории игр [3, 23].

Методы машинного обучения

3.6.3 Обнаружение аномалий

Метод обнаружения аномалий также называется обнаружением выбросов, когда мы обнаруживаем случаи аномальных событий и аномалий, которые обычно не проявляются, на основе выборок исторических данных. Часто аномалии возникают редко и в результате становятся необычными явлениями, или аномалии могут не быть редкими в разных случаях, но они могут возникать очень короткими вспышками с течением времени, поэтому они имеют уникальные закономерности. Методы неконтролируемого обучения могут использоваться для обнаружения аномалий таким образом, что они обучают алгоритм с нормальными, неаномальными выборками данных в обучающем наборе данных. Как только алгоритм изучит необходимые интерпретации данных, шаблоны и отношения атрибутов в нормальных выборках для любой новой выборки фактов, он может обнаружить ее как аномальную или обычную точку данных, используя обнаруженную информацию. Методы обнаружения на основе аномалий очень популярны в реальных ситуациях, таких как обнаружение атак или нарушений безопасности, мошенничества со сберегательными картами, фабрикационных аномалий, сетевых проблем и многих других (Sarkar et al., 2018).

Независимо от того, как возникают проблемы с сетью, их необходимо устранять как можно быстрее и, в идеале, не допускать их повторения в будущем. Для этой цели существуют различные типы программного обеспечения, включая антивирус, брандмауэр и IDS. Но прежде чем проблему можно будет устранить, ее необходимо обнаружить, независимо от того, как она возникла.

Быстрая навигация:

Что такое сетевая аномалия?

Проблемы в компьютерных сетях обнаруживаются как вызываемые ими аномалии трафика. В общем, аномалия — это то, что идет против ожиданий. Например, поврежденный коммутатор может создать непредвиденный трафик в другой части сети или новые коды ошибок могут начать появляться при отключении службы. Устранение неполадок в сети основано на сетевых аномалиях.

Первый метод классификации аномалий основан на том, чем они отличаются от обычного общения. Аномалии могут различаться либо по типу передаваемых данных (поведенческие), либо по количеству передаваемых данных (по объему), либо по обоим критериям. Другой способ классификации аномалий — по их причине:

Ошибка, не связанная с человеческим фактором. отказ оборудования или прерывание радиосвязи из-за погодных условий;
Человеческая ошибка — например, сбой сетевой службы, вызванный неправильной настройкой или случайным отключением сетевого кабеля;
Злонамеренная человеческая деятельность – например, внутренняя атака, когда недовольный сотрудник компании повреждает сетевой принтер, или внешняя атака, когда злоумышленник пытается отключить сеть и нанести ущерб репутации.

Что такое система обнаружения аномалий?

Для обнаружения аномалий требуется постоянный мониторинг и анализ выбранных сетевых показателей. Система обнаружения аномалий охватывает сценарий, когда обнаруживается что-то неожиданное и анализ оценивает это как аномалию, об этом можно сообщить сетевому администратору.

Существует две основные категории мониторинга сети, которые позволяют обнаруживать аномалии:

Пассивный мониторинг сети

Компьютерная сеть включает зонды, которые получают данные из сети и оценивают их. Эти данные могут быть как предназначены непосредственно для зондов (например, события, отправляемые по протоколу SNMP), так и могут быть копией производственного трафика, который происходит в сети независимо от того, подключен зонд или нет.

Активный мониторинг сети

Сети также могут содержать проверки, как при пассивном мониторинге, но эти проверки генерируют дополнительный трафик, который они отправляют через сеть. С помощью этого трафика можно регулярно определять доступность или общие параметры тестируемых сервисов, сетевых линий и устройств.

Различия между активным и пассивным сетевым мониторингом при обнаружении сетевых аномалий

Может показаться, что активный мониторинг дополняет возможности пассивного мониторинга, автоматически делая его лучшим вариантом. Тем не менее, проблема с активным мониторингом заключается в том, что он генерирует дополнительные данные в сети. Таким образом, при активном мониторинге устройства мониторинга становятся частью производственной сети (что несет с собой, например, риски безопасности), и, следовательно, мониторинг не является полностью прозрачным. Другая потенциальная проблема заключается в том, что сами данные мониторинга могут влиять на функциональность сети и, таким образом, быть источником проблем и аномалий (например, увеличивать нагрузку на уже загруженный сервер). Учитывая эти недостатки, в этой статье основное внимание уделяется пассивному мониторингу сетевых аномалий.

В целом обнаружение аномалий можно разделить на несколько основных компонентов. см. рисунок 1 (схема справа). Они имеют следующие функции:

Параметризация. Отслеживаемые данные отделяются от входных данных в форме, подходящей для дальнейшей обработки.
Обучение. При выборе этого режима модель сети (состояние обучения) обновляется.Это обновление может выполняться как автоматически, так и вручную.
Обнаружение. Затем созданная (обученная) модель используется для сравнения данных из отслеживаемой сети. Если он соответствует определенным критериям, создается отчет об обнаружении аномалий.

Для чего используется обнаружение аномалий?

Обнаружение DDoS-атак: путем сравнения объема текущего трафика с ожидаемым объемом можно обнаружить атаку
Отслеживание активности ботнета — со списком известных серверов управления и контроля ботнета можно обнаружить соединения с этими серверами
Обнаружение атаки по словарю: путем подсчета количества попыток входа в систему и сравнения этого числа с пороговыми значениями можно обнаружить попытки взлома учетной записи.
Обнаружение сбоя связи. Это можно определить, обнаружив увеличение числа подключений по резервной ссылке.
Обнаружение неправильной конфигурации приложения. Это можно обнаружить по увеличению количества кодов ошибок в подключениях к приложениям.
Обнаружение перегрузки сервера. Обнаружив снижение качества обслуживания, можно обнаружить перегрузку служб или серверов.
Обнаружение подозрительного поведения устройства. Создавая профили поведения и проверяя поведение какого-либо устройства за пределами созданных профилей, можно обнаружить подозрительную активность.

Обнаружение аномалий с помощью методов

Подписи или основанные на знаниях

Подпись точно описывает, какой тип данных ищет система. Примером подписи может быть поиск пакета, который имеет тот же IP-адрес источника, что и IP-адрес назначения, или поиск определенного содержимого в пакете.

Базовый или статистический

Базовый уровень описывает объем переданных данных, которые имеют определенные общие черты. Например, это может быть количество обнаруженных TCP-соединений за каждые 5 минут. Аномалия возникает, когда текущее значение (количество запросов за последние 5 минут) значительно отклоняется от изученного базового уровня; см. рис. 2. Другой пример — поиск изменений в распределении пакетов в соответствии с портами, к которым они направляются. На рис. 3 показан случай, когда аномалия проявляется в увеличении количества пакетов, отправляемых на один порт назначения.

Рисунок 2. Обнаружение аномалии по изменению количества обнаруженных TCP-соединений [Анализ сигналов аномалий сетевого трафика]

Рисунок 3. Изменение распределения пакетов по портам назначения. При передаче больших объемов данных на один порт результирующее распределение существенно меняется.

В чем разница между обнаружением сетевых аномалий с помощью сигнатур и базовых показателей?

В таблице ниже сравнивается использование подписей и базовых показателей.

Атрибут	Подпись	Базовый уровень
Способность обнаруживать известные ошибки или атаки	Высокая — если сигнатура существует	Низкий — отклонение от базового уровня не привязано к конкретной ситуации
Возможность обнаружения неизвестных ошибок или атак	Низкий - если для ошибки не существует сигнатуры или атака, его невозможно обнаружить	Высокий — отклонение от базового уровня не привязано к конкретной ситуации
Сложность обслуживания базы знаний	Высокий – существующие подписи требуют обновления, а новые должны быть созданы	Низкий – базовый уровень может автоматически пересчитываться с течением времени
Скорость обнаружения	Быстрая — в тот момент, когда некоторые данные соответствуют критериям обнаружения, аномалия обнаруживается	Быстро - когда некоторые данные соответствуют критериям обнаружения, аномалия обнаруживается
Скорость развертывания	Быстро — аномалии могут быть обнаружены сразу после развертывания	Медленно — необходимо обучить базовый уровень, прежде чем он сможет начать обнаружение
Number ложных срабатываний	Меньше — если сигнатуры четко определены, обычные пакеты не будут соответствовать их критериям	Больше - любое колебание может вызвать аномалию

Хотя обнаружение аномалий с помощью сигнатур является быстрым и точным, оно может работать только с теми аномалиями трафика, для которых известна сигнатура. С другой стороны, обнаружение на основе машинного обучения медленнее и дает большее количество ложных срабатываний, но способно выявлять новые и измененные аномалии, для которых не существует подписи. В общем, невозможно обнаружить все аномалии, не столкнувшись ни с одним ложным срабатыванием. Поэтому обычно рекомендуется сбалансированный подход.

Использование машинного обучения для обнаружения аномалий

Чтобы сигнатуры были точными и выявляли известные аномалии в сети, их необходимо создавать вручную, используя информацию о каждой проблеме или атаке. Базовые показатели, с другой стороны, могут использовать алгоритмы машинного обучения. Основное преимущество использования машинного обучения заключается в том, что базовый уровень может меняться со временем в зависимости от того, какие данные были фактически обнаружены, что позволяет учиться на предыдущих результатах.

Алгоритмы машинного обучения (например, эвристика) используются системами обнаружения вторжений на основе аномалий, которые работают по принципу поиска отклонений от изученной нормы.

Преимущество использования машинного обучения заключается в том, что эти методы редко требуют каких-либо знаний об отслеживаемой сети, но они все же могут изучать ожидаемое поведение и обнаруживать аномалии. Однако есть и обратная сторона: если ошибка проявляется в постепенном увеличении некоторых атрибутов, аномалий обнаружено не будет. Вместо этого обученная модель будет медленно приспосабливаться к новому увеличению этих атрибутов, и обнаружение не произойдет. Изощренная атака может использовать это, чтобы избежать обнаружения.

Проблемы обнаружения аномалий

Реальность обнаружения аномалий не так проста, как может показаться. В конце концов, возникнет проблема, которая существенно ограничит возможности обнаружения аномалий. В этом разделе описываются две наиболее важные проблемы.

Ошибочное обнаружение

Отличить нормальную работу от аномалии не всегда просто. То, что вчера было обычным движением, завтра может стать аномалией.Это связано с тем, что передаваемые данные меняются независимо от того, есть проблема (аномалия) в сети или нет. Вот почему обнаружение скорее оперирует оценкой вероятности. Хотя каждая система или метод может использовать его по-разному, основная идея одна и та же. Каждому обнаруженному событию присваивается оценка, и если эта оценка превышает заданный порог, оно помечается как аномалия.

Порог обнаружения аномалий определяет чувствительность обнаружения. Если чувствительность слишком высока, проблемы или аномалии будут быстро обнаружены, но за счет увеличения числа событий, ошибочно помеченных как аномальные. Эти ошибочно помеченные события называются ложными срабатываниями. С другой стороны, если чувствительность низкая, количество ложных срабатываний уменьшается, но уменьшается и количество правильно обнаруженных аномалий — аномальность некоторых аномалий будет недостаточно высокой, что позволит им остаться незамеченными.

Примером ложноположительного события является случай, когда неожиданное обновление операционной системы передает большой объем данных или когда непредвиденное обстоятельство побуждает ненормальное количество клиентов подключиться к интернет-магазину компании одновременно. .

Вообще говоря, невозможно гарантировать, что все аномалии в сети будут обнаружены и в то же время не будет ложных срабатываний. Причина, по которой ложноположительные события на самом деле являются проблемой, заключается в том, что во время автоматической обработки событий законный трафик или служба могут быть идентифицированы как проблемные, и их активность будет ограничена. В то же время обработка и анализ этих аномалий вручную требует огромных затрат времени и сил.

Мониторинг зашифрованного трафика бросает вызов устаревшему обнаружению аномалий

Из соображений конфиденциальности и безопасности в компьютерных сетях шифрование данных расширяется и совершенствуется. Зашифрованная связь также влияет на обнаружение аномалий, поскольку шифрование данных уменьшает объем данных, с которыми может работать мониторинг и анализ. Например, при отслеживании зашифрованной электронной почты адреса электронной почты недоступны.

Важно знать, на каком уровне происходит шифрование. Большая часть коммуникаций шифруется только на уровне приложений, что означает возможность статистического анализа IP-адресов, портов назначения и т. д. Таким образом, шифрование не препятствует обнаружению аномалий, но значительно ограничивает типы аномалий, которые могут быть обнаружены. обнаружено. К сожалению, злоумышленники и различные вредоносные скрипты также знают об этом факте и скрывают свою деятельность в зашифрованной связи, чтобы избежать обнаружения.

Обнаружение аномалий (также известный как анализ выбросов) – это этап интеллектуального анализа данных, который определяет точки данных, события и/или наблюдения, которые отклоняются от нормального поведения набора данных. Аномальные данные могут указывать на критические инциденты, такие как технический сбой, или на потенциальные возможности, например, на изменение поведения потребителей. Машинное обучение все чаще используется для автоматизации обнаружения аномалий.

Что такое аномалия?

Благодаря всем доступным аналитическим программам и различному программному обеспечению для управления компаниям теперь проще, чем когда-либо, эффективно измерять каждый аспект деловой активности. Это включает в себя операционную производительность приложений и компонентов инфраструктуры, а также ключевые показатели эффективности (KPI), которые оценивают успех организации. Имея миллионы показателей, которые можно измерить, компании, как правило, получают внушительный набор данных для изучения эффективности своего бизнеса.

В этом наборе данных есть шаблоны данных, которые представляют обычный бизнес. Неожиданное изменение в этих шаблонах данных или событие, не соответствующее ожидаемому шаблону данных, считается аномалией. Другими словами, аномалия — это отклонение от обычного поведения.

Но тогда что мы подразумеваем под "обычным бизнесом", когда речь идет о бизнес-показателях? Конечно, мы не имеем в виду «неизменный» или «постоянный»; Нет ничего необычного в том, что веб-сайт электронной коммерции получает большой доход за один день — конечно, если этот день — Киберпонедельник. В этом нет ничего необычного, потому что большой объем продаж в Киберпонедельник — это хорошо зарекомендовавший себя пик в естественном бизнес-цикле любого бизнеса, имеющего интернет-магазин.

Действительно, было бы аномалией, если бы у такой компании не было больших объемов продаж в Киберпонедельник, особенно если объемы продаж в Киберпонедельник в предыдущие годы были очень высокими. Отсутствие изменений может быть аномалией, если оно нарушает закономерность, нормальную для данных конкретной метрики. Аномалии нельзя однозначно назвать хорошими или плохими, это просто отклонения от ожидаемого значения метрики в данный момент времени.

Что такое обнаружение аномалий данных временных рядов?

Успешное обнаружение аномалий зависит от способности точно анализировать данные временных рядов в режиме реального времени. Данные временного ряда состоят из последовательности значений во времени. Это означает, что каждая точка обычно представляет собой пару из двух элементов: отметку времени измерения показателя и значение, связанное с этим показателем на тот момент.

Данные временных рядов сами по себе не являются прогнозом. Скорее, это запись, содержащая информацию, необходимую для обоснованных предположений о том, что можно разумно ожидать в будущем. Системы обнаружения аномалий используют эти ожидания для выявления в ваших данных сигналов, требующих принятия мер, выявляя выбросы в ключевых показателях эффективности, чтобы предупредить вас о ключевых событиях в вашей организации.

В зависимости от вашей бизнес-модели и варианта использования обнаружение аномалий в данных временных рядов может использоваться для получения ценных показателей, таких как:

Просмотры веб-страниц
Активных пользователей в день
Установки мобильного приложения
Стоимость лида
Цена за клик
Затраты на привлечение клиентов
Показатель отказов
Коэффициент оттока
Доход за клик
Объем транзакций
Средняя стоимость заказа
И многое другое

Обнаружение аномалий данных временных рядов должно сначала создать базовый уровень для нормального поведения в основных KPI. Поняв этот базовый уровень, системы обнаружения аномалий данных временных рядов могут отслеживать сезонность — циклические закономерности поведения в ключевых наборах данных. Ручной подход может помочь идентифицировать сезонные данные на одном графике данных. Но когда вам нужно масштабировать до тысяч или миллионов показателей, отслеживание данных временных рядов и выявление аномалий должно быть автоматизировано, чтобы предоставлять ценную информацию для бизнеса.

Три разных типа аномалий временных рядов

Понимание типов выбросов, которые может идентифицировать система обнаружения аномалий, необходимо для получения максимальной отдачи от полученных данных. Не зная, с чем вы сталкиваетесь, вы рискуете принять неверные решения, как только ваша система обнаружения аномалий предупредит вас о проблеме или возможности.

Вообще говоря, аномалии в ваших бизнес-данных делятся на три основные категории: глобальные выбросы, контекстуальные выбросы и коллективные выбросы.

1. Глобальные выбросы

Также известные как точечные аномалии, эти выбросы существуют далеко за пределами всего набора данных.

2. Контекстные выбросы

Также называемые условными выбросами, эти аномалии имеют значения, которые значительно отличаются от других точек данных, существующих в том же контексте. Аномалия в контексте одного набора данных может не быть аномалией в другом. Эти выбросы распространены в данных временных рядов, потому что эти наборы данных представляют собой записи конкретных величин за определенный период. Это значение находится в пределах глобальных ожиданий, но может казаться аномальным в рамках определенных сезонных моделей данных.

3. Общие выбросы

Когда подмножество точек данных в наборе отличается от всего набора данных, такие значения называются совокупными выбросами. В этой категории отдельные значения не являются аномальными глобально или контекстуально. Вы начинаете видеть эти типы выбросов при совместном изучении различных временных рядов. Индивидуальное поведение не может отклоняться от нормального диапазона в определенном наборе данных временного ряда. Но в сочетании с другим набором данных временных рядов становятся очевидными более значительные аномалии.

Почему вашей компании необходимо обнаружение аномалий

Со всеми доступными аналитическими программами и различным программным обеспечением для управления вам проще, чем когда-либо, эффективно измерять каждый отдельный аспект деловой активности. Это включает в себя операционную производительность приложений и компонентов инфраструктуры, а также ключевые показатели эффективности (KPI), которые оценивают успех вашего бизнеса.

Измеряя миллионы показателей, вы получаете огромный и постоянно увеличивающийся набор данных для изучения.Но что происходит, когда в шаблонах данных происходят неожиданные изменения? Эти аномалии — отклонения от обычного ведения бизнеса — вызваны бизнес-инцидентами в реальном мире. Будь то новая успешная маркетинговая кампания, которая увеличила количество потенциальных клиентов, рекламная скидка, которая увеличила продажи, изменение цен, влияющее на доход, или что-то среднее между ними, вы должны быть в состоянии отследить основную причину.

Поскольку в вашем бизнесе нужно отслеживать миллионы показателей, существуют также миллионы уникальных способов получить ценную информацию на основе обнаружения аномалий. Но при ближайшем рассмотрении видно, что для обнаружения аномалий в бизнесе используются три основных варианта: производительность приложений, качество продукта и взаимодействие с пользователем.

1. Обнаружение аномалий производительности приложений

Производительность приложений может как повысить, так и снизить производительность труда и доход. Традиционные реактивные подходы к мониторингу производительности приложений позволяют вам реагировать только на проблемы, оставляя ваш бизнес страдать от последствий еще до того, как вы узнаете о проблеме.

Учитывая более 100 миллионов активных пользователей в месяц по всему миру, Waze решила, что необходимо обнаруживать аномалии, чтобы выявлять и устранять потенциальные проблемы с производительностью приложений до того, как они затронут пользователей. Алгоритмы машинного обучения помогают его решению для обнаружения аномалий беспрепятственно сопоставлять данные с соответствующими показателями производительности приложений, чтобы предоставить полную информацию о бизнес-инцидентах, над которой может работать ИТ-команда.

Но не только производители программного обеспечения и приложений, такие как Waze, извлекают выгоду из обнаружения аномалий для повышения производительности приложений. Следующие отрасли также могут воспользоваться преимуществами:

: операторы связи, являясь одними из крупнейших производителей данных временных рядов в мире, нуждаются в передовых решениях для смягчения аномалий, которые могут привести к общесистемной деградации их сложных сетей. Для Optus Networks ручного отслеживания метрик с помощью традиционных инструментов BI было недостаточно. Мониторинг таких параметров, как джиттер, задержка, качество вызовов и т. д. в сетях требует обнаружения аномалий, что позволяет телекоммуникационным компаниям заранее решать проблемы с производительностью в режиме реального времени. : Ежемесячная обработка триллионов транзакций с аукционами в реальном времени, которые происходят в течение 40 миллисекунд, оставляет мало места для ручного мониторинга KPI. В то время как операционные группы могут оставаться в курсе технических проблем центра обработки данных, более сложные тенденции производительности приложений менее ясны. Rubicon Project, одна из крупнейших в мире бирж рекламы, использует обнаружение аномалий для отслеживания всех транзакций в режиме реального времени и поддержания работоспособности своего рекламного рынка.

2. Обнаружение аномалий качества продукции

Для менеджеров по продуктам недостаточно доверять каждому другому отделу заботу о необходимом мониторинге и оповещениях. От первоначального развертывания до каждого экземпляра новой функции вы должны быть уверены, что продукт будет работать без сбоев.

Поскольку ваш продукт постоянно развивается, каждый выпуск версии, A/B-тестирование, новая функция, настройка воронки продаж или изменение службы поддержки клиентов могут привести к поведенческим аномалиям. Если вы не отслеживаете эти аномалии должным образом, текущие проблемы обойдутся вашей компании в миллионы потерянных доходов и подорвут репутацию бренда.

Обнаружение аномалий может принести пользу любому бизнесу, работающему с продуктами. Вот два основных примера того, как это сделать:

: хотя разработчики могут охватывать технические аспекты мониторинга платформы электронной коммерции, кто-то должен отслеживать бизнес-воронку, коэффициенты конверсии и другие ключевые показатели эффективности. Эта роль ложится на менеджера по продукту. Но когда вы доверяете статическим пороговым значениям для мониторинга динамических коэффициентов воронки, вы упускаете ключевые предупреждения в контексте сезонности и других элементов временных рядов. Или вы не сможете определить сбои в ценообразовании, как это сделал Argos. Неправильная ценовая политика привела к сбою сайта, большому количеству недовольных клиентов и большому количеству упущенной выгоды. Благодаря обнаружению аномалий проблемы с качеством продукта, такие как сбои в цене, обнаруживаются намного быстрее — до того, как сайт выйдет из строя и это повлияет на клиентов. : Безопасность важна для любого цифрового бизнеса, но еще важнее для финтеха. Клиенты и финансовые партнеры нуждаются в уверенности в том, что транзакции обрабатываются безопасно, а ваша задача – опережать сложные атаки. Благодаря обнаружению аномалий источники данных интегрируются в централизованную платформу, что дает вам полное представление о производительности и операциях, а также возможность обнаруживать ключевые уязвимости в системе безопасности.

3. Обнаружение аномалий для удобства пользователей

Если у вас выпущена ошибочная версия, вы подверглись DDoS-атаке или изменили процесс поддержки клиентов, что имело неприятные последствия, вы рискуете столкнуться с перерывами в использовании для клиентов. Реагирование на эти упущения до того, как они повлияют на работу пользователей, имеет решающее значение, чтобы избежать разочарований, которые приводят к оттоку клиентов и потере дохода.

Проактивная оптимизация и улучшение пользовательского интерфейса поможет повысить удовлетворенность клиентов в различных отраслях, в том числе:

: Мониторинг перестановочных сложностей игрового процесса не может быть выполнен с ручными пороговыми значениями. Решения для обнаружения аномалий отслеживают операционные системы, уровни, пользовательские сегменты, различные устройства и многое другое с помощью искусственного интеллекта (ИИ), чтобы гарантировать быстрое устранение сбоев и ошибок, которые могут повредить работе пользователя. Outfit7 использует преимущества обнаружения аномалий, потому что это помогает им предвидеть и решать проблемы по мере того, как их игры постоянно развиваются. : бесперебойная работа важна для любого онлайн-бизнеса. Чтобы гарантировать, что UX никогда не будет скомпрометирован, ИТ-отдел должен устранять ошибки API, сбои во время загрузки, время простоя сервера и многое другое — и все это в режиме реального времени. Обнаружение аномалий обеспечивает полное покрытие и минимальное время отклика на всех платформах, операционных системах и центрах обработки данных. Для Wix обнаружение аномалий означает быстрый анализ основных причин всех потенциальных проблем с помощью единой унифицированной платформы.

Понимание различных методов обнаружения аномалий

Раньше ручное обнаружение аномалий было приемлемым вариантом. У вас было всего несколько показателей для отслеживания в вашем бизнесе, а наборы данных были достаточно управляемыми для аналитической группы. Но у вас под рукой больше данных, чем когда-либо, и есть одна вопиющая проблема с традиционным ручным обнаружением аномалий — оно не масштабируется. Без управления сотнями, тысячами или даже миллионами метрик стоимость и сложность ручного обнаружения аномалий невыносимы.

Существует ограничение на персонал, которого вы можете нанять, опыт, который они могут предложить, и точность информации, которую они могут предоставить при обнаружении аномалий. Во-первых, примите во внимание огромное количество людей, которые потребуются для успешного ручного обнаружения аномалий в режиме реального времени. Каждый человек может выполнять обнаружение аномалий в реальном времени по 100 метрикам одновременно. Для 1000 метрик у вас будет 10 человек в штате для постоянного мониторинга. Когда вы получаете до 1 миллиона метрик или более, вы обращаетесь к персоналу из 10 000+ человек только для обнаружения аномалий. Это просто невыполнимо. И это даже не говоря о несоответствиях и человеческих ошибках, связанных с ручной аналитикой.

Для удовлетворения потребностей современного бизнеса требуется автоматическое обнаружение аномалий, которое может предоставлять точную информацию в режиме реального времени независимо от того, сколько показателей вам нужно отслеживать. По-настоящему автоматизированные системы обнаружения аномалий должны включать обнаружение, ранжирование и группировку данных, что устраняет необходимость в больших группах аналитиков.

Ключом к автоматическому обнаружению аномалий является правильное сочетание контролируемого и неконтролируемого машинного обучения . Вы хотите, чтобы подавляющее большинство классификаций данных выполнялось без присмотра (без участия человека). Тем не менее, у вас по-прежнему должна быть возможность предоставить аналитикам наборы данных для алгоритмов, которые будут полезны для создания базовых показателей обычного поведения. Гибридный подход гарантирует, что вы сможете масштабировать обнаружение аномалий с возможностью создания ручных правил в отношении определенных аномалий.

Создать или купить: развертывание для обнаружения аномалий

Когда вы приняли решение инвестировать в обнаружение аномалий для своего бизнеса, следующим шагом будет определение того, как получить наибольшую отдачу от этих инвестиций. А это означает принятие решения относительно дилеммы «сборка или покупка». Хотя в общем случае может не быть правильного или неправильного ответа, ваши конкретные потребности будут определять, какой путь лучше всего подходит для вашего бизнеса.

Чтобы сделать правильный выбор между созданием и приобретением средств обнаружения аномалий, учитывайте такие ключевые факторы, как:

Размер вашей компании и объем данных, которые необходимо обработать
Ваш бюджет для внедрения этой новой системы
Ожидаемое время для оценки с точки зрения срочной необходимости обнаружения аномалий и требований заинтересованных сторон.
Возможность разработки и обслуживания в вашей ИТ-команде
Планы расширения вашего бизнеса и их влияние на аналитику данных

Когда вы сотрудничаете с правильным поставщиком для обнаружения аномалий, вы можете добиться окупаемости за 30 дней, а не за месяцы или годы. А благодаря расширенным готовым возможностям вы можете сократить ежегодные расходы на 40–90 % в зависимости от конкретных вариантов использования.

Какой бы способ вы ни выбрали, убедитесь, что вы готовы собирать, анализировать и упаковывать данные таким образом, чтобы предоставить бизнес-пользователям значимую и полезную информацию. стоить вам миллионы.

Заключение

Этот обзор должен дать вам хорошее представление о том, что такое обнаружение аномалий, почему это необходимо для вашего бизнеса и как эти системы работают на высоком уровне. Предприятия сосредоточились на оптимизации сбора данных, и теперь пришло время использовать эти данные для получения информации, которая будет способствовать развитию вашего бизнеса.

Перейдите ко второй публикации этой серии, в которой мы обсудим, почему для вашего бизнеса так важно обнаруживать аномалии в режиме реального времени.

А если вы готовы получить больше от обнаружения аномалий и воспользоваться преимуществом расширенного автоматизированного решения, свяжитесь с нами для бесплатной демонстрации.

Автор Айра Коэн

Ира Коэн является не только соучредителем, но и главным специалистом по обработке и анализу данных Anodot. Она разработала запатентованные алгоритмы обнаружения многомерных аномалий в режиме реального времени, которые контролируют миллионы сигналов временных рядов. Он имеет докторскую степень в области машинного обучения, полученную в Университете Иллинойса в Урбана-Шампейн, и имеет более чем 12-летний опыт работы в отрасли.

Что может сделать для вас Autonomous Business Monitoring?

Закажите предварительный звонок. Это короткий и простой способ быстро узнать, что мы сделали для таких компаний, как ваша.

Нарушение политик безопасности на компьютере или в сети свидетельствует о необходимости надежного обнаружения вторжений. Злоумышленники, получающие доступ к системам из Интернета, или авторизованные пользователи, осуществляющие несанкционированную деятельность внутри, создают впечатление, что безопасных областей в ИТ-системах очень мало.

Существуют передовые разработки в области кибербезопасности, которые позволяют собирать информацию и анализировать события, происходящие в системе или сети. В отрасли эти разработки называются обнаружением вторжений.

Обнаружение вторжений становится все более сложной задачей из-за распространения разнородных компьютерных систем и устройств. Более того, по мере расширения возможностей подключения компьютерных систем и сетей в частных и государственных компаниях злоумышленники нашли относительно доступные возможности.

1) Что такое система обнаружения вторжений?

Система обнаружения вторжений (IDS) – это аппаратный или программный продукт, который собирает и проверяет информацию из различных точек компьютера или сети, чтобы поймать злоумышленников. Обычно это принимает форму мониторинга потоков данных или пакетов в компьютерной системе или сети.

Система обнаружения вторжений может находить и в реальном времени предупреждать о попытках несанкционированного доступа к системным ресурсам путем сбора и проверки информации. IDS существует во многих формах, от IDS на основе хоста до IDS на основе сети. Как правило, IDS размещается на порту рассылки спама, главном коммутаторе или виртуальном коммутаторе.

Системы обнаружения вторжений классифицируются как IDS на основе хоста и IDS на основе сети.

2) В чем ценность IDS?

Система обнаружения вторжений может служить сдерживающим фактором, предотвращая невыразимый ущерб ИТ-системе и не только. Эффективная IDS может идентифицировать и выдавить злоумышленника до того, как будет нанесен ущерб. Даже если IDS не полностью предотвращает злоумышленника, чем быстрее будет обнаружено вторжение, тем быстрее IDS сможет смягчить ущерб и добиться восстановления. Поскольку при попытках вторжения собирается значительный объем информации, можно, по сути, изучить методы вторжения, укрепляя методы предотвращения вторжений. Существует два подхода к обнаружению вторжений: обнаружение неправильного использования и обнаружение аномалий. Здесь я сосредоточусь на обнаружении аномалий.

3) Что такое система обнаружения аномальных вторжений?

Этот тип IDS предполагает поиск системной или сетевой активности, которая отличается от обычного или ожидаемого поведения системных объектов и ресурсов. Здесь поведение, которое не описывается как ни номинальное, ни нормальное, понимается как «аномальное». Таким образом, обнаружение аномалий жизненно важно для выявления действий, которые не соответствуют ожидаемому образцу. Примерами здесь могут быть место входа пользователя, зашифрованные файлы и загрузка конфиденциальных файлов через Microsoft 365.

Из-за «нормальности», которую он изучил на основе шаблонов действий в наблюдаемых данных, будь то в локальной сети или в облаке, этот тип IDS основан на обычных наборах данных или пакетах, которые могут обнаруживать аномалии и отслеживать «нормальные» наборы данных или пакеты. В этой области обычно используется искусственный интеллект, причем поставщики часто используют самообучающийся ИИ, что означает, что он учится «на работе» на основе данных и действий, которые он наблюдает на месте. По сути, то, что мы обнаруживаем, представляет собой тип системы вторжения, производящей миллионы или миллиарды расчетов, основанных на вероятности, в свете появляющихся доказательств.

4) Как работает система обнаружения аномальных вторжений?

Как правило, системы обнаружения аномальных вторжений используют алгоритмы самоорганизующейся карты (SOM) для «моделирования» обычных данных, чтобы выяснить, является ли конкретное действие в сети или компьютерной системе нормальным или ненормальным.SOM может использовать ИИ в этой области, в частности, неконтролируемое машинное обучение для сопоставления отношений — некоторые часто называют этот тип обучения генерированием подписей для фиксации поведения — между входными данными. Когда данные обрабатываются, система обнаружения вторжений формирует значение, указывающее, является ли поведение нормальным или ненормальным.

5) Каковы недостатки системы обнаружения аномальных вторжений?

Часто возникают ложные срабатывания, поскольку обычное поведение злоумышленника может совпадать с типичным поведением авторизованного пользователя. Более того, ложные срабатывания могут возникать, когда система помечает ошибку как киберугрозу. Поэтому события помечаются как вредоносные, если они таковыми не являются. Это может быть проблематично, потому что система предотвращения вторжений, следующая в очереди по устранению «угрозы», может препятствовать ИТ-операциям. Кроме того, обычная критика заключается в том, что кибер-злоумышленники, знающие о том, что за ними наблюдают, могут просто обучить компьютерную систему таким образом, чтобы их поведение считалось «нормальным».

6) Каковы преимущества системы обнаружения аномальных вторжений?

Система обнаружения аномалий может обнаруживать ранее неизвестные атаки на основе аудита. Таким образом, нет предопределенных правил для обнаружения вторжений. Как подчеркивают многие, сигнатурные или основанные на правилах системы безопасности могут представлять опасность, поскольку они борются с неизвестным-неизвестным. Кроме того, система обнаружения аномалий может идентифицировать угрозу до того, как она захватит компьютерную систему и сеть, обеспечивая надежную защиту от кибератак и безопасность важных бизнес-операций.

Читайте также: