Роботы, то есть серверы, на которых работает программа сканирования сайта, называются

Обновлено: 07.07.2024

Интернет-бот – это программное приложение, которое выполняет автоматизированные задачи через Интернет. Задачи, выполняемые ботами, обычно просты и выполняются гораздо быстрее, чем действия человека в Интернете.

Некоторые боты являются законными. Например, Googlebot – это приложение, используемое Google для обхода Интернета и его индексации для поиска. Другие боты являются вредоносными — например, боты, используемые для автоматического сканирования веб-сайтов на наличие уязвимостей в программном обеспечении и выполнения простых шаблонов атак.

Что такое ботнет

Существует множество типов вредоносных программ, которые заражают устройства конечных пользователей с целью включения их в ботнет. Любое зараженное устройство начинает обмениваться данными с центром управления и контроля (C&C) и может выполнять автоматизированные действия под централизованным контролем злоумышленника.

Многие злоумышленники активно занимаются созданием крупных бот-сетей, самые крупные из которых охватывают миллионы компьютеров. Часто ботнет может расти сам по себе, например, используя зараженные устройства для рассылки спама по электронной почте, который может заразить другие машины.

Владельцы ботнетов используют их для крупномасштабных вредоносных действий, как правило, распределенных атак типа "отказ в обслуживании" (DDoS). Ботнеты также могут использоваться для любой другой вредоносной деятельности ботов, например для спам-ботов или социальных ботов (описано ниже), хотя и в гораздо большем масштабе.

Безопасность API: Демистификация рисков следующего крупного вектора атаки

Типы ботов

В Интернете существует множество типов ботов, как законных, так и вредоносных. Ниже приведены несколько распространенных примеров.

Боты-пауки

Боты-пауки, также известные как веб-пауки или поисковые роботы, просматривают Интернет, переходя по гиперссылкам с целью извлечения и индексации веб-контента. Пауки загружают HTML и другие ресурсы, такие как CSS, JavaScript и изображения, и используют их для обработки содержимого сайта.

Если у вас большое количество веб-страниц, вы можете поместить файл robots.txt в корень вашего веб-сервера и дать инструкции ботам, указав, какие части вашего сайта они могут сканировать и как часто.

Скрапер-боты

Парсеры – это боты, которые считывают данные с веб-сайтов с целью сохранения их в автономном режиме и обеспечения возможности их повторного использования. Это может принимать форму очистки всего содержимого веб-страниц или очистки веб-контента для получения определенных точек данных, таких как названия и цены продуктов на сайтах электронной коммерции.

Веб-скрапинг — это серая зона. В некоторых случаях парсинг является законным и может быть разрешен владельцами веб-сайтов. В других случаях операторы ботов могут нарушать условия использования веб-сайта или, что еще хуже, использовать парсинг для кражи конфиденциального или защищенного авторским правом контента.

Спам-боты

Спам-бот — это интернет-приложение, предназначенное для сбора адресов электронной почты для списков рассылки спама. Спам-бот может собирать электронные письма с веб-сайтов, веб-сайтов социальных сетей, предприятий и организаций, используя особый формат адресов электронной почты.

После того, как злоумышленники соберут большой список адресов электронной почты, они могут использовать их не только для рассылки спама, но и в других гнусных целях:

Взлом учетных данных – сопоставление электронных писем с общими паролями для получения несанкционированного доступа к учетным записям.
Спам из форм — автоматическая вставка спама, например рекламы или ссылок на вредоносное ПО, в формы на популярных веб-сайтах, обычно в формы для комментариев или отзывов.

Помимо прямого ущерба, наносимого конечным пользователям и организациям, пострадавшим от спам-кампаний, спам-боты также могут ограничивать пропускную способность сервера и увеличивать расходы для интернет-провайдеров (ISP).

Боты социальных сетей

Боты работают в социальных сетях и используются для автоматической генерации сообщений, пропаганды идей, действия в качестве подписчиков пользователей и поддельных учетных записей для получения подписчиков. По оценкам, от 9 до 15 % учетных записей Twitter являются социальными ботами.

Социальные боты могут использоваться для проникновения в группы людей и распространения определенных идей. Поскольку нет строгого регулирования их деятельности, социальные боты играют важную роль в общественном мнении в Интернете.

Социальные боты могут создавать поддельные учетные записи (хотя это становится все труднее по мере того, как социальные сети становятся все более изощренными), усиливать сообщение оператора бота и генерировать поддельные подписчики/лайки. Социальных ботов сложно идентифицировать и обезвредить, потому что они могут вести себя очень похоже на поведение реальных пользователей.

Скачать ботов

Боты загрузки – это автоматизированные программы, которые можно использовать для автоматической загрузки программного обеспечения или мобильных приложений.Их можно использовать для влияния на статистику загрузок, например, чтобы увеличить количество загрузок в популярных магазинах приложений и помочь новым приложениям занять первые места в чартах. Их также можно использовать для атаки на сайты загрузки, создавая поддельные загрузки в рамках атаки типа "отказ в обслуживании" (DoS) на уровне приложений.

Бикетные боты

Бикетные боты – это автоматизированный способ покупки билетов на популярные мероприятия с целью перепродажи этих билетов с целью получения прибыли. Эта деятельность является незаконной во многих странах, и даже если она не запрещена законом, она вызывает раздражение у организаторов мероприятий, продавцов билетов и потребителей.

Бикетные боты, как правило, очень сложны и имитируют то же поведение, что и люди, покупающие билеты. Во многих доменах продажи билетов доля билетов, приобретаемых автоматическими ботами, колеблется от 40 до 95%.

Как обнаружить бот-трафик в веб-аналитике

Ниже приведены несколько параметров, которые вы можете использовать при ручной проверке веб-аналитики для обнаружения трафика ботов, попадающего на веб-сайт:

Тенденции трафика. Ненормальные всплески трафика могут указывать на то, что на сайт заходят боты. Это особенно верно, если движение происходит в нечетные часы.
Показатель отказов — аномально высокий или низкий уровень может быть признаком плохих ботов. Например, боты, которые попадают на определенную страницу сайта, а затем меняют IP-адрес, будут иметь 100 % отказов.
Источники трафика. Во время злоумышленной атаки основным каналом отправки трафика является «прямой» трафик, а трафик будет состоять из новых пользователей и сеансов.
Производительность сервера: снижение производительности сервера может быть признаком ботов.
Подозрительные IP-адреса/геолокации – рост активности в неизвестном диапазоне IP-адресов или в регионе, в котором вы не ведете бизнес.
Подозрительные обращения с одного IP-адреса – большое количество обращений с одного IP-адреса. Люди обычно запрашивают несколько страниц, а не другие, тогда как боты часто запрашивают все страницы.
Языковые источники — просмотр обращений на других языках, которые ваши клиенты обычно не используют.

Все вышеперечисленное является лишь приблизительными показателями активности ботов. Имейте в виду, что сложные вредоносные боты могут генерировать реалистичную, похожую на пользователя подпись в вашей веб-аналитике. Рекомендуется использовать специальное решение для управления ботами, обеспечивающее полную видимость трафика ботов.

Как остановить трафик ботов: основные меры по смягчению последствий

Существует несколько простых мер, которые вы можете предпринять, чтобы заблокировать хотя бы часть ботов и уменьшить вероятность их появления:

Поместите файл robots.txt в корневой каталог вашего веб-сайта, чтобы определить, каким ботам разрешен доступ к вашему веб-сайту. Имейте в виду, что это эффективно только для управления шаблонами сканирования законных ботов и не защитит от вредоносных действий ботов.
Добавьте CAPTCHA в формы регистрации, комментариев или загрузки. Многие издатели и премиум-сайты используют CAPTCHA, чтобы предотвратить загрузку или спам-ботов.
Настройте оповещение JavaScript, чтобы уведомлять вас о трафике ботов. Наличие контекстного JavaScript может действовать как зуммер и предупреждать вас всякий раз, когда он видит бота или аналогичный элемент, заходящий на веб-сайт.

Как боты избегают обнаружения?

Следующей эволюцией стало использование автономных браузеров, таких как PhantomJS, которые могут полностью обрабатывать содержимое веб-сайта. Хотя эти браузеры более сложны, чем обычные боты, безголовые браузеры по-прежнему не могут выполнять все действия, которые могут выполнять реальные пользователи.

Самые продвинутые типы ботов основаны на браузере Chrome и практически неотличимы от реальных пользователей. Эти боты даже имитируют человеческую деятельность, например нажатие элементов на странице.

Расширенные методы борьбы с ботами

По мере развития ботов менялись и методы смягчения последствий. В настоящее время существует три технических подхода к обнаружению и устранению вредоносных ботов:

Комбинируя эти три подхода, вы можете победить уклончивых ботов всех типов и успешно отделить их от человеческого трафика. Вы можете использовать эти подходы независимо друг от друга или можете положиться на службы защиты от ботов, которые выполнят методы за вас.

Службы защиты от ботов – это автоматизированные инструменты, использующие описанные выше методы для выявления ботов. Эти сервисы можно использовать для мониторинга трафика API и определения, является ли он законным машинным трафиком или недобросовестными ботами, которые «доят» ваш API.

Расширенные службы защиты от ботов используют ограничение скорости для каждого запрашивающего клиента или машины, а не всего IP-адреса, что позволяет ограничить сканирование вредоносными ботами. Как только бот будет идентифицирован, эти службы могут распространять информацию по сети, чтобы гарантировать, что тот же бот не сможет снова получить доступ к вашему сайту или API.

Узнайте, как Imperva Bot Management может помочь вам с автоматизированными угрозами.

Управление ботами Imperva

Решение Imperva для управления ботами использует все три описанных выше подхода — статический, основанный на проблемах и на основе поведения — для изучения каждого посетителя вашего сайта, будь то человек или нет, и сопоставления его с поведенческим идентификатором.Он может эффективно защищать от вредоносных ботов, обеспечивая при этом непрерывный доступ законных ботов и пользователей к вашему сайту.

Imperva Bot Management: методы обнаружения и варианты ответа

Помимо того, что Imperva помогает снизить активность вредоносных ботов, она обеспечивает многоуровневую защиту, гарантирующую, что веб-сайты и приложения доступны, легкодоступны и безопасны. Решение для обеспечения безопасности приложений Imperva включает в себя:

Nikto — это сканер уязвимостей с открытым исходным кодом, написанный на Perl и первоначально выпущенный в конце 2001 года, который обеспечивает дополнительное сканирование уязвимостей, характерных для веб-серверов. Он проверяет 6400 потенциально опасных файлов и скриптов, 1200 устаревших версий серверов и почти 300 проблем, связанных с версиями веб-серверов.

Существует даже возможность автоматического запуска Nikto из Nessus при обнаружении веб-сервера. Мы будем запускать Nikto непосредственно из командной строки в терминале BackTrack, но вы можете поискать в блоге Nessus статью о том, как эти два инструмента могут работать вместе в автоматизированным способом.

Nikto встроен в BackTrack и выполняется непосредственно в терминале. Сначала вам нужно перейти в каталог Nikto, выполнив команду cd /pentest/web/nikto в окне терминала.

Кроме того, вы можете запустить окно терминала непосредственно в каталоге Nikto из меню BackTrack, щелкнув Приложения → BackTrack → Оценка уязвимостей → Оценка веб-приложений → Сканеры веб-уязвимостей → Nikto, как показано на рис. 2.6.

< бр />

Рисунок 2.6. Открытие Nikto из меню BackTrack.

Вы всегда должны обновлять Nikto, выполнив команду perl nikto.pl -update перед использованием сканера, чтобы убедиться, что у вас есть самые последние подписи подключаемых модулей. Вы можете запустить сканер на нашем localhost с помощью следующей команды, где ключ -h используется для определения нашего целевого адреса (127.0. 0.1), а ключ -p используется для указания того, какие порты мы хотим проверить (1–500).

perl nikto.pl -h 127.0.0.1 -p 1–500

+ Сервер: Apache/2.2.14 (Ubuntu)

+ Получен заголовок x-powered-by: PHP/5.3.2-1ubuntu4.9

+ Корневая страница/перенаправляет на: login.php

+ robots.txt содержит 1 запись, которую следует просмотреть вручную.

+ Apache/2.2.14 выглядит устаревшим (текущим является как минимум Apache/2.2.19). Apache 1.3.42 (последняя версия) и 2.0.64 также актуальны.

+ На сервере обнаружен заголовок ETag, индексный дескриптор: 829490, размер: 26, mtime: 0x4c4799096fba4

+ OSVDB-3268: /config/: найдено индексирование каталога.

+ /config/: информация о конфигурации может быть доступна удаленно.

+ OSVDB-3268: /doc/: найдено индексирование каталога.

+ OSVDB-48: /doc/: Каталог /doc/ доступен для просмотра. Это может быть /usr/doc.

+ OSVDB-3092: /login/: Это может быть интересно. . .

+ OSVDB-3268: /icons/: найдено индексирование каталога.

+ OSVDB-3268: /docs/: найдено индексирование каталога.

+ OSVDB-3092: /CHANGELOG.txt: журнал изменений найден.

+ OSVDB-3233: /icons/README: Обнаружен файл Apache по умолчанию.

+ /login.php: страница/раздел входа администратора найдена.

+ 6456 элементов проверено: 0 ошибок и 16 элементов на удаленном хосте

+ Время окончания: 2012-07-11 09:27:23 (20 секунд)

Безопасность приложений

Никто и Викто

Nikto — это бесплатный инструмент для анализа веб-серверов с открытым исходным кодом, который выполняет проверку на наличие многих распространенных уязвимостей, которые мы упоминали в начале этого раздела и обсуждали ранее в главе, когда мы рассматривали проблемы безопасности на стороне сервера. Nikto проиндексирует все файлы и каталоги, которые он может увидеть на целевом веб-сервере, процесс, обычно называемый поиском пауков, а затем найдет и сообщит о любых обнаруженных потенциальных проблемах.

Внимание!

При использовании инструментов веб-анализа важно помнить, что не все, о чем сообщает инструмент как о потенциальной проблеме, на самом деле является проблемой безопасности. Такие инструменты почти всегда возвращают нам определенное количество ложных срабатываний, указывая на проблему, которая на самом деле недействительна. Важно вручную убедиться, что проблема действительно существует, прежде чем предпринимать действия по ее устранению.

Nikto – это инструмент с интерфейсом командной строки, работающий в Linux. Для тех из нас, кто работает в среде, ориентированной на Windows, или предпочитает использовать графический интерфейс, SensePost создала версию Nikto для Windows под названием Wikto, как показано на рис. 10.5. Wikto по функциональности очень похож на Nikto и предоставляет нам графический интерфейс.

< бр />

Рисунок 10.5. Викто

Использование

Джеймс Брод , Эндрю Бинднер , взлом с помощью Kali , 2014 г.

Использование Nikto

< бр />

Рисунок 9.29. Сканирование с помощью Nikto.

Отчет был сохранен как «nikto-test.html», что автоматически отформатирует отчет в формате HTML. Чтобы открыть отчет из командной строки, введите: iceweasel nikto-test.html ( рис. 9.30 ).

< бр />

Рисунок 9.30. Никто сообщает.

Понимание методов и мышления злоумышленника

Другие инструменты сканирования

В этом разделе мы поговорим о hping2 и Nikto, двух инструментах для сканирования и оценки сети; а также wget, инструмент, который вы можете использовать для загрузки и сбора веб-страниц. В начале этой главы мы говорили о сборе разведданных и социальной инженерии, которые являются успешными способами, с помощью которых злоумышленники могут пассивно собирать информацию и пытаться получить доступ к вашей сети. Попытки вторжения (успешные или нет) могут исходить от возможностей, когда инструменты используются не по назначению; имейте это в виду, когда будете читать этот раздел. Пока мы обсуждаем, как инструменты можно использовать по назначению, вы никогда не должны предполагать, что кто-то там не ищет способ изменить цель утилиты или работает над тем, чтобы заставить ее делать что-то злонамеренное, чего никто никогда не задумывал. Nikto и hping2 можно использовать как в полезных, так и в оскорбительных целях, но их стоит обсудить здесь, в этом разделе.

Что не так с этой командой? Во-первых, Nmap настаивает на выполнении сканирования TCP-Connect в системе и попытается определить производителя и версию ОС, а также отобразит подробные сведения о результатах при сканировании в очень быстром темпе. Кроме того, поскольку пользователь не указал ограничений, он будет сканировать первые 1024 общеизвестных TCP-порта, чтобы определить, какие из них работают и предоставляют услуги. При выполнении он попытается выполнить разрешение имен на целевом хосте. Но самое главное, он попытается отправить ICMP-пакет, чтобы определить, действительно ли хост работает! Конечно, не стоит объявлять всему миру, что вы сканируете хост; и если вы будете неосторожны, скорее всего, за вами последует шквал неприятностей. Таким образом, казалось бы, быстрая и простая команда может привести к проблемам.

Теперь предположим, что вы мало знаете о назначении и настройке host-a и вам нужно определить, какую роль он играет. Но вам придется действовать осторожно и выполнять сканирование медленно. Вы также должны ограничить объем информации, отправляемой во время сканирования, но допустить многословность результатов. Подход, отвечающий этим критериям, может выглядеть примерно так:

Предыдущая команда выполнила сканирование в полуоткрытом режиме, медленно и на скорости –T1 (параноидальная настройка), без отправки вытесняющих пакетов ICMP (–P0). . Слева направо эта команда ищет порты протокола передачи файлов (FTP), SSH, Telnet и простого протокола передачи почты (SMTP), за которыми следует простой протокол управления сетью (SNMP), затем веб-сервер, общий доступ к файлам и принтерам Microsoft. , протокол обмена файлами Apple и, наконец, порт, используемый сетевыми принтерами. У меня всегда возникает соблазн попытаться определить, работает ли DNS, но я сократил это, чтобы выявить наиболее вероятные службы, которые работают на большинстве рабочих станций или серверов. Если все, что я получаю от хоста, это порты 80 и 9100, я могу сделать вывод, что попал на принтер, который может быть доступен через Интернет. Если я получаю порт 80 и протокол Apple Filing Protocol (AFP), возможно, я получаю доступ к Macintosh под управлением OS X. Если я получаю порты 21 и 139, возможно, я попадаю в систему ПК, на которой запущены службы обмена файлами FTP или FileZilla и Server Message Block (SMB). которые являются частью ОС Windows.

Как видите, с помощью Nmap можно получить много информации. Но что, если все, что вам нужно сделать, это определить, работает ли хост? Более простой способ сканирования хоста или сети — использование инструмента hping2. По сравнению с Nmap, hping2 имеет меньший набор опций, которые гораздо проще понять. Вы можете использовать hping2 для сканирования пакетов ICMP, Интернет-протокола (IP), TCP и UDP и формулировать специально созданные пакеты на основе размера, если вы хотите проверить возможность передачи различных пакетов на основе типа IP.

Далее приведены несколько примеров команд, которые hping2 использует в различных обстоятельствах. Мы демонстрируем их на хосте, который хотим оценить. Что, я думаю, поможет вам сравнить функциональность, так это предоставить список команд hping2 с переключателями, которые вы можете принять к сведению, вместе с «;» замечания.Вот примеры команд hping2:

Каждая из этих команд показана по порядку на рис. 7.10. В каждом случае мы пытаемся пропинговать интерфейс маршрутизатора, намеренно отправляя только один пакет за раз, указав переключатель –c. На рисунке мы видим один отправленный в результате пакет. Прежде всего, мы пытаемся отправить TCP-пакет с установленным флагом SYN, но не получаем ответа от маршрутизатора, и он сообщает о 100-процентной потере. Затем мы пытаемся отправить необработанный IP-пакет; это тоже не удается. Но когда мы пытаемся отправить ICMP-пакет, мы получаем ответ, в котором мы видим, что время приема-передачи (RTT) составляет 4,5 миллисекунды (мс). Когда мы пытаемся сделать то же самое, используя пакет UDP, это не удается. Итак, из всех этих тестов мы можем сделать вывод, что этот интерфейс отвечал только на пакеты ICMP.

Рисунок 7.10. Вывод Hping2 и сравнительные методы проверки связи

В предыдущем примере мы не пытались использовать режим сканирования портов. Если вы хотите использовать режим сканирования портов, используйте следующую команду:

;Сканировать в режиме сканирования портов

Рассмотрите следующий сценарий, чтобы применить то, что вы уже узнали. Допустим, вы хотите оптимизировать сканирование, не вызывая IDS. Вам известен IP-адрес веб-сервера в диапазоне, который вы хотите просканировать. Если вы позволите Nmap управлять временем, вы окажетесь во власти его значений по умолчанию. Если вы укажете время приема-передачи (RTT) в Nmap, вы потратите только это время на сканирование. Но когда вы пингуете его, вы ничего не получаете в ответ, и вам приходится догадываться, что ваши ICMP-пакеты блокируются. Здесь вы можете использовать hping2 и применить к веб-серверу следующие действия для получения RTT:

Предполагая, что RTT составляет 80 миллисекунд, теперь вы можете передать результаты синхронизации ping в Nmap, составив команду следующим образом:

Видите, как это было легко? Кроме того, с результатами легко работать, поскольку вы можете оптимизировать сканирование несколькими способами. Во-первых, вы не выполняете разрешение DNS (–n), а во-вторых, вы устанавливаете временные ограничения, которые, как вы разумно предполагаете, потребуются для пути туда и обратно. Благодаря сокращению времени ожидания Nmap ваше сканирование завершается быстрее, что может быть важно, если вы сканируете тысячи хостов.

Как и hping2, Nikto — еще один полезный инструмент, который нужно иметь в своем наборе инструментов. В дополнение к сканированию доступности хоста и определению того, доступен ли он, Nikto также может проверять веб-серверы на наличие неправильных конфигураций и уязвимостей. Этот инструмент с открытым исходным кодом можно использовать на ряде операционных платформ, включая дистрибутив Knoppix, основанный на разновидности Linux Debian. Nikto удобен в использовании, а выходные данные легко понять, так как он подробно рассказывает вам о том, что хорошо настроено и заблокировано в системе, а также определяет, что нужно улучшить или укрепить.

Knoppix — дом для Nikto — после нескольких небольших установок

Несмотря на то, что Nikto прост в использовании, его установка в системе Linux в стиле Debian, такой как Knoppix, требует некоторых усилий.

Чтобы установить Nikto на систему Knoppix, вы должны использовать следующие две команды, при условии, что вы вошли в систему как пользователь root и у вас уже установлен Knoppix на системном жестком диске или флэш-накопителе:

В версии 5.3.1 Knoppix для успешной установки Nikto необходимо обновить ряд обязательных пакетов, включая библиотеку glibc. Вам также потребуется несколько модулей Perl, таких как libnet-ssleay-perl и libwhisker-perl, для успешной установки Nikto.

Важно понимать, что для установки инструмента оценки веб-сайта, такого как Nikto, не требуются титанические усилия. Таким образом, велики шансы, что такие инструменты, как Nikto, можно использовать в сети организации для определения уровней исправлений, а также того, было ли выполнено какое-либо усиление защиты системы до запуска веб-сайта. Бесплатные инструменты, такие как Nikto, можно использовать против сети, поэтому следите за чрезмерным сканирующим трафиком.

Вот несколько примеров проверок безопасности, которые выполняет Nikto. На рис. 7.11 показано сканирование виртуальной машины Debian 3.3 в практически нетронутом, не обновленном состоянии, чтобы вы могли понять, насколько это может быть плохо. Я специально выбрал устаревшую версию Debian, чтобы показать, почему обновление систем и демонов (также называемых службами) так важно.

Рисунок 7.11. Debian 3.3 Установка веб-сервера Apache 2 Результаты сканирования Nikto

Сканирование Debian показывает, что установлены старая версия Apache (2.02) и старая версия PHP (4.3.10). Также показано, что параметры GET, HEAD, POST, OPTIONS и TRACE разрешены, если только GET и POST должно быть разрешено, чтобы ограничить то, что злоумышленник может использовать из возможностей отладки таких режимов, как TRACE, для проведения атак с использованием межсайтовых сценариев (XSS).Имея под рукой папку /icons и ее вложенные папки, вы позволяете злоумышленнику получить больше информации, чем вам хотелось бы.

На рис. 7.12 показано сканирование веб-сервером виртуальной машины Damned-Small Linux-Not (DSL-N) на том же компьютере, на котором запущено приложение веб-сервера Monkey.

Рисунок 7.12. Установка DSL-N веб-сервера Monkey

На рис. 7.12 показано, что XSS-атаки могут вывести из строя этот сервер. Это должно проиллюстрировать вам важность аудита ваших веб-серверов, чтобы увидеть, работают ли они и открыты ли они. Затем вы можете разработать метод уменьшения поверхности атаки ваших веб-серверов.

Когда дело доходит до извлечения данных с веб-сервера — будь то отдельные артефакты за раз или целые страницы и подстраницы, — лучшим инструментом для этой работы является wget. С помощью wget легко получить одну или все веб-страницы в конкретной системе веб-обслуживания. Он может даже переходить по ссылкам на другие страницы-рефереры, если вы ему это скажете. Это один из основных способов, с помощью которых хакеры копируют внешний вид веб-сайта и вносят небольшие изменения, чтобы он выглядел как подлинная страница (во многих случаях с использованием числового IP-адреса). На рис. 7.13 показан пример извлечения файла index.html в сеансе wget.

Рисунок 7.13. Wget-сессия

Тестирование веб-сервера и веб-приложений

6.4.2 Никто

Самое простое сканирование можно выполнить, используя параметры по умолчанию, а также IP-адрес хоста или DNS-адрес. Командная строка для этого будет nikto.pl -h [host] . На рис. 6.15 показаны результаты сканирования образца.

< бр />

РИСУНОК 6.15. Базовое сканирование Nikto.

Сканирование, показанное на рис. 6.15, раскрывает ряд сведений о сканируемом узле. Во-первых, Nikto определяет информацию о версии сервера и выполняет базовое сканирование каталогов CGI и robots.txt. Сведения о версии веб-сервера и связанных с ним подключаемых модулей можно использовать для определения того, существуют ли на веб-сервере уязвимые версии этих частей программного обеспечения. Кроме того, Nikto сканирует и идентифицирует некоторые каталоги по умолчанию, такие как «/config/» или «/admin/», а также файлы по умолчанию, такие как «test-cgi».

ИСПОЛЬЗОВАНИЕ Nikto

Как использовать:

никто .pl [Параметры]

Поля ввода:

[Параметры] включают один или несколько из следующих общих параметров: •

-D V — Подробный режим

-e [1-8,A,B] — выбирает методы обхода IDS •

1 — случайная кодировка URI (не UTF8)

2 — ссылка на каталог (/./)

3 – Преждевременное окончание URL

4 – Добавить длинную случайную строку в начале

5 — Поддельный параметр

6 — TAB в качестве разделителя запросов

7 — Изменить регистр URL

8 – Используйте разделитель каталогов Windows (\)

A — Используйте возврат каретки (0x0d) в качестве разделителя запроса

B — использовать двоичное значение 0x0b в качестве разделителя запроса

-h [хост] — Хост (IP, имя хоста, имя текстового файла)

-o [имя файла] — вывести результаты в файл с указанным именем, используя формат, соответствующий указанному расширению

-P [плагины] — указывает, какие плагины должны выполняться для цели

-p [порт] — указать порты для сканирования

-root [каталог] — добавляет это значение перед всеми тестами; используется, когда вы хотите сканировать определенный каталог на сервере

< бр />

РИСУНОК 6.16. Nikto Scan с опциями.

Вывод:

Сканирует целевой хост(ы) на наличие различных основных уязвимостей веб-приложений.

Бот — сокращение от «робот» — это программа, которая выполняет автоматизированные, повторяющиеся заранее заданные задачи. Боты обычно имитируют или заменяют поведение человека. Поскольку они автоматизированы, они работают намного быстрее, чем пользователи-люди. Они выполняют полезные функции, такие как обслуживание клиентов или индексирование поисковых систем, но они также могут быть представлены в виде вредоносных программ, используемых для получения полного контроля над компьютером.

Интернет-ботов также называют поисковыми роботами, поисковыми роботами или веб-ботами.

Что такое компьютерный бот и что такое интернет-бот?

Компьютерные боты и интернет-боты по сути являются цифровыми инструментами и, как и любой другой инструмент, могут использоваться как во благо, так и во вред.

Хорошие боты выполняют полезные задачи, однако плохие боты, также известные как вредоносные боты, несут в себе риск и могут использоваться для взлома, рассылки спама, шпионажа, прерывания работы и взлома веб-сайтов любого размера. По оценкам, до половины всего интернет-трафика сегодня составляют компьютерные боты, выполняющие определенные задачи, такие как автоматизация обслуживания клиентов, имитация человеческого общения в социальных сетях, помощь компаниям в поиске контента в Интернете и помощь в поисковой оптимизации.

Организации или отдельные лица используют ботов для замены повторяющихся задач, которые в противном случае пришлось бы выполнять человеку. Задачи, выполняемые ботами, обычно просты и выполняются гораздо быстрее по сравнению с деятельностью человека. Хотя не все задачи, выполняемые ботами, безобидны. Иногда боты используются для преступных действий, таких как кража данных, мошенничество или DDoS-атаки.

Вредоносные программы-боты и опасность интернет-ботов

Вредоносные программы и интернет-боты могут быть запрограммированы/взломаны для взлома учетных записей пользователей, сканирования Интернета в поисках контактной информации, рассылки спама или выполнения других вредоносных действий.

Для проведения этих атак и маскировки источника атакующего трафика злоумышленники могут распространять вредоносных ботов в ботнете, т. е. в бот-сети. Ботнет — это несколько подключенных к Интернету устройств, на каждом из которых работает один или несколько ботов, часто без ведома владельцев устройств. Поскольку каждое устройство имеет свой собственный IP-адрес, трафик ботнета поступает с множества IP-адресов, что затрудняет идентификацию и блокировку источника вредоносного трафика ботов. Ботнеты часто могут развиваться сами по себе, используя устройства для рассылки спама по электронной почте, который может заразить больше машин.

Один из наиболее распространенных способов заражения вашего компьютера ботами — загрузка. Вредоносное ПО распространяется в формате загрузки через социальные сети или сообщения электронной почты, в которых рекомендуется щелкнуть ссылку. Ссылка часто представляет собой изображение или видео, содержащие вирусы и другие вредоносные программы. Если ваш компьютер заражен вредоносным ПО, он может быть частью ботнета.

Бот также может отображаться как предупреждение о том, что ваш компьютер получит вирус, если вы не нажмете соответствующую ссылку. При переходе по ссылке ваш компьютер впоследствии заражается вирусом.

Несмотря на то, что вредоносные боты создают проблемы и проблемы для организаций, опасность для потребителей заключается в том, что они могут осуществлять кражу данных и личных данных, записывать конфиденциальную информацию, такую как пароли, банковские реквизиты и адреса, и фишинг.

Вредоносные боты могут легко остаться незамеченными. Их легко спрятать на компьютере, и часто имена файлов и процессы аналогичны, если не идентичны, обычным системным файлам или процессам.

Примеры вредоносных ботов включают:

Спам-боты

Спам-боты могут собирать адреса электронной почты со страниц контактов или гостевой книги. Кроме того, они могут размещать рекламный контент на форумах или в разделах комментариев, чтобы привлечь трафик на определенные веб-сайты.

Вредоносные чат-боты

Веб-сайты и приложения служб знакомств являются убежищем для вредоносных ботов. Эти чат-боты притворяются человеком, подражая человеческому общению, и часто обманывают людей, которые не понимают, что общаются, с вредоносными программами, целью которых является получение личной информации, включая номера кредитных карт, от ничего не подозревающих жертв.

Боты для обмена файлами

Эти боты принимают запрос пользователя (например, популярный фильм или альбом исполнителя) и отвечают на запрос, сообщая, что у них есть файл, доступный для загрузки, предоставляя ссылку. Пользователь нажимает на ссылку, скачивает, открывает ее и неосознанно заражает свой компьютер.

Заполнение учетными данными

Это означает, что боты «вставляют» известные имена пользователей и пароли (обычно полученные в результате утечки данных) на страницы онлайн-входа, чтобы получить несанкционированный доступ к учетным записям пользователей.

Боты DoS или DDoS

Здесь намеренно используется чрезмерный трафик ботов, чтобы перегрузить ресурсы сервера и помешать работе службы.

Отказ от атак на инвентарь

Эти атаки нацелены на интернет-магазины, чтобы указать их товары как «недоступные». В этом типе атаки вредоносные боты получают доступ к корзине покупок, выбирают товары из интернет-магазина и добавляют их в корзину, так и не завершив транзакцию. В результате, когда законный пользователь хочет купить продукт, он получает сообщение об отсутствии на складе, даже если товар есть в наличии.

Сканеры уязвимостей

Боты, которые сканируют миллионы сайтов на наличие уязвимостей и сообщают о них своему создателю, называются сканерами уязвимостей. В отличие от настоящих ботов, которые информируют владельца веб-сайта, эти вредоносные боты специально созданы для того, чтобы сообщать об этом одному человеку, который затем продает информацию или использует ее для взлома веб-сайтов.

Нажмите мошеннические боты

Эти боты производят огромное количество вредоносного бот-трафика, специально ориентированного на платную рекламу для мошенничества с рекламой.Этот нечеловеческий трафик, ответственный за мошеннические клики по платным объявлениям, ежегодно обходится рекламодателям в миллиарды долларов и часто маскируется под законный трафик. Без хорошего программного обеспечения для обнаружения ботов эта деятельность ботов может стоить рекламодателям значительной части их рекламного бюджета.

Мониторинг трафика

Боты, используемые для перегрузки почтовых серверов или масштабной кражи данных.

Почему киберпреступники используют ботов?

1. Чтобы украсть финансовую и личную информацию

Хакеры могут использовать ботнеты для рассылки фишинговых или других мошеннических сообщений, чтобы обманным путем заставить потребителей отдать свои деньги. Они также могут собирать информацию с машин, зараженных ботами, и использовать ее для кражи личных данных и получения кредитов или оплаты покупок на имя пользователя.

2. Для атаки на законные веб-сервисы

Преступники могут использовать ботнеты для создания DoS- и DDoS-атак, которые переполняют законный сервис или сеть огромным объемом трафика. Громкость может серьезно замедлить работу службы или сети компании, а также полностью перегрузить службу или сеть компании и отключить их.

3. Вымогать деньги у жертв

Доход от DoS-атак поступает за счет вымогательства (т. е. оплаты или закрытия вашего сайта) или за счет платежей групп, заинтересованных в нанесении ущерба компании или сети. В эти группы входят «хактивисты» — хакеры с политическими целями, а также иностранные военные и разведывательные организации.

4. Чтобы заработать на зомби и ботнетах

Киберпреступники также могут сдавать свои ботнеты в аренду другим преступникам, которые хотят рассылать спам, мошенничество, фишинг, красть идентификационные данные и атаковать законные веб-сайты и сети.

Типы ботов

Что еще делают боты помимо вредоносных ботов? Существует множество различных типов:

Чат-боты

Боты, которые имитируют человеческий разговор, отвечая на определенные фразы запрограммированными ответами.

Социальные боты

Боты, которые работают на платформах социальных сетей и используются для автоматической генерации сообщений, пропаганды идей, действий в качестве подписчиков пользователей и поддельных учетных записей для получения подписчиков. По мере того как социальные сети становятся все более изощренными, социальным ботам становится все труднее создавать поддельные учетные записи. Социальных ботов сложно идентифицировать, потому что они могут вести себя так же, как и реальные пользователи.

Магазинные боты

Боты, которые совершают покупки в Интернете, чтобы найти лучшую цену на товары, которые ищет пользователь. Некоторые боты могут наблюдать за поведением пользователя на веб-сайте, а затем настраивать этот сайт для пользователя.

Боты-пауки или поисковые роботы

Боты, которые сканируют контент на веб-страницах по всему Интернету, чтобы помочь Google и другим поисковым системам понять, как лучше всего отвечать на поисковые запросы пользователей. Пауки загружают HTML и другие ресурсы, такие как CSS, JavaScript и изображения, и используют их для обработки содержимого сайта.

Сканеры веб-скрейпинга

Боты, которые считывают данные с веб-сайтов с целью сохранения их в автономном режиме и обеспечения возможности их повторного использования. Это может принимать форму очистки всего содержимого веб-страниц или очистки веб-контента для получения конкретных точек данных, таких как названия и цены продуктов на веб-сайтах электронной коммерции.

В некоторых случаях парсинг является законным и может быть разрешен владельцами веб-сайтов. В других случаях операторы ботов могут нарушать условия использования веб-сайта или красть конфиденциальные материалы или материалы, защищенные авторским правом.

Знайботы

Боты, которые собирают информацию для пользователей, автоматически посещая веб-сайты для получения информации, соответствующей определенным критериям.

Мониторинг ботов

Транзакционные боты

Боты, используемые для совершения транзакций от имени людей. Например, транзакционные боты позволяют клиентам совершать транзакции в контексте разговора.

Скачать ботов

Боты, используемые для автоматической загрузки программного обеспечения или мобильных приложений. Их можно использовать для управления статистикой загрузок, например, чтобы увеличить количество загрузок в популярных магазинах приложений и помочь новым приложениям занять первые места в чартах.

Их также можно использовать для атак на сайты загрузки, создавая поддельные загрузки в рамках атаки типа "отказ в обслуживании" (DoS).

Боты для продажи билетов

Боты, которые автоматически покупают билеты на популярные мероприятия с целью перепродажи этих билетов с целью получения прибыли. Эта деятельность является незаконной во многих странах, и даже если она не противоречит закону, она может создавать неудобства для организаторов мероприятий, законных продавцов билетов и потребителей. Билетные боты часто сложны и имитируют то же поведение, что и люди, покупающие билеты.

Как работают боты?

Обычно боты работают в сети.Боты, которые могут общаться друг с другом, будут использовать для этого интернет-службы, такие как обмен мгновенными сообщениями, интерфейсы, такие как Twitterbots, или через Internet Relay Chat (IRC).

Боты состоят из наборов алгоритмов, которые помогают им выполнять свои задачи. Различные типы ботов предназначены для выполнения самых разных задач.

В качестве примера возьмем чат-ботов — у них разные методы работы:

Чат-бот, основанный на правилах, взаимодействует с людьми, выдавая заранее заданные подсказки для выбора.
Интеллектуально независимый чат-бот будет использовать машинное обучение, чтобы изучать информацию, поступающую от человека, а также искать известные ключевые слова.
Чат-боты с искусственным интеллектом – это сочетание основанных на правилах и интеллектуально независимых чат-ботов. Кроме того, чат-боты могут также использовать сопоставление с образцом, обработку естественного языка и инструменты генерации естественного языка.

У каждого есть свои плюсы и минусы: организации, использующие ботов, сами решат, какой подход лучше всего подходит для их нужд.

Преимущества и недостатки ботов

Компьютерные и интернет-боты – плюсы:

Быстрее, чем люди при выполнении повторяющихся задач
Они экономят время заказчиков и клиентов.
Они сокращают трудозатраты для организаций.
Они доступны круглосуточно и без выходных.
Организации могут общаться с большим количеством людей через приложения для обмена сообщениями.
Они настраиваются.
Они многоцелевые.
Они могут улучшить взаимодействие с пользователем.

Компьютерные и интернет-боты – Минусы:

Ботов нельзя настроить на выполнение определенных задач, и они рискуют неправильно понять пользователей и вызвать разочарование в процессе.
Люди по-прежнему необходимы для управления ботами, а также для того, чтобы вмешиваться, если один из них неправильно истолковывает другого человека.
Боты могут быть запрограммированы так, чтобы быть вредоносными.
Боты могут использоваться для рассылки спама.

Примеры ботов

Диапазон и разнообразие ботов означает, что они используются в самых разных областях, таких как обслуживание клиентов, бизнес, функции поиска и развлечения.

Примеры известных служб, использующих ботов, включают:

Приложения для обмена мгновенными сообщениями, такие как Facebook Messenger, WhatsApp и Slack.
Чат-боты, такие как Google Ассистент и Siri.
Всемирная организация здравоохранения создала бота в WhatsApp для обмена общедоступной информацией, связанной с пандемией коронавируса.
National Geographic создала диалоговое приложение, которое предположительно говорило так же, как Альберт Эйнштейн, для продвижения своего шоу Genius.
Новостные приложения, такие как Wall Street Journal, для отображения заголовков новостей.
Spotify, который позволяет пользователям искать треки и делиться ими через Facebook Messenger.
Lyft, крупнейший конкурент Uber, позволяет клиентам отправлять запросы через Slack, Messenger и Alexa.
Mastercard позволяет клиентам проверять транзакции по своему счету с помощью бота Facebook Messenger.
Lidl создала бота, который помогает клиентам давать рекомендации по вину.

Как узнать, заражен ли ваш компьютер ботами

Способы определить, является ли ваш компьютер частью ботнета, включают:

Ваш компьютер постоянно зависает без видимой причины.
Приложения, которые раньше работали без проблем, теперь работают с задержкой.
Программы, которые раньше загружались быстро, теперь запускаются медленно.
Компьютер долго выключается или не выключается должным образом.
Ваш доступ в Интернет замедляется до минимума.
В браузере есть компоненты, которые вы не загружали.
Диспетчер задач Windows показывает программы с загадочными именами или описаниями.
Настройки изменились, и отменить их невозможно.
Всплывающие окна и рекламные объявления появляются, даже если вы не используете веб-браузер.
Вентилятор работает с ускорением, когда устройство находится в режиме ожидания.
Друзья и члены семьи сообщают о получении от вас сообщений электронной почты, но вы их не отправляли.
Вы не можете загружать обновления операционной системы.

Что делать, если ваш компьютер заражен ботами

Если ваш компьютер уже заражен ботами, самым важным соображением является защита ваших данных.

Вот несколько шагов, которые нужно предпринять:

Шаг 1. Как можно скорее отключите компьютер от сети. Это предотвратит кражу конфиденциальной информации и предотвратит использование компьютера для атак на другие сети.

Шаг 2. Переместите все важные или личные данные на другой компьютер или внешний жесткий диск. Перед этим убедитесь, что они не содержат вредоносного ПО.

Шаг 3. Выполните сброс настроек вашего компьютера к заводским настройкам (имейте в виду, что это не только устранит проблему, но и удалит созданные вами файлы и программы, удалит драйверы и вернет настройки к значениям по умолчанию)

Шаг 4. Очистите компьютер с помощью различных инструментов безопасности или попросите специалиста поработать с устройством

Помните, что профилактика – лучшее лекарство от ботов и других видов вредоносного ПО. Поэтому важно установить систему кибербезопасности на все ваши устройства.

Как защитить свой компьютер от ботов

Трудность для потребителей заключается в том, что многие точки взаимодействия с клиентами в Интернете, включая веб-сайты, мобильные приложения и API, подвергаются атакам ботов. Защитить свой компьютер от ботов можно, но это требует бдительности и знания того, что искать.

Вот несколько шагов, которые необходимо предпринять для защиты ваших систем от проникновения ботнетов:

Установите антивирусное ПО

Используйте комплексное программное обеспечение для защиты от вредоносных программ, чтобы защитить свое устройство. Например, Kaspersky Total Security блокирует вирусы и вредоносное ПО в режиме реального времени и не дает хакерам удаленно завладеть вашим компьютером. Убедитесь, что ваши антивирусные и антишпионские программы настроены на автоматическое обновление.

Убедитесь, что все ваше программное обеспечение обновлено

Никогда не игнорируйте системные обновления. Регулярно проверяйте наличие обновлений и исправлений для браузера и операционной системы.

Используйте надежный пароль

Надежный пароль сложно угадать, он состоит из комбинации прописных и строчных букв, а также цифр и символов. Не используйте один и тот же пароль для нескольких учетных записей. Мы рекомендуем использовать надежный менеджер паролей.

Нажимайте только на те ссылки, которым вы доверяете

Нажимайте на интернет-ссылки или открывайте электронные письма только в том случае, если вы доверяете источнику. Распространенные пользовательские риски возникают при загрузке контента с неизвестных сайтов или от друзей, которые не имеют современных средств защиты и непреднамеренно передают зараженные файлы другим пользователям.

Всегда соблюдайте предельную осторожность при загрузке информации или файлов с незащищенного компьютера. Не используйте флэш-накопители или флэш-накопители на зараженном компьютере.

Избегайте ненадежных веб-сайтов и рекламы

Обычно пользователей обманом заставляют загружать вредоносные боты с помощью интригующей рекламы или загрузок, с которыми они сталкиваются во время просмотра веб-страниц. Будьте осторожны при загрузке бесплатных версий программного обеспечения с веб-сайтов, которые вы не знаете, и никогда не нажимайте на всплывающую рекламу, которая утверждает, что только они могут исправить производительность вашего компьютера или проблемы с вирусами. Во многих случаях взаимодействие с этими страницами приведет к установке вредоносного ПО на ваш компьютер.

Установите брандмауэр

Брандмауэр может помочь заблокировать вредоносные атаки.

Использовать диспетчер ботов

Организации могут остановить вредоносных ботов с помощью диспетчера ботов. Менеджеры ботов могут быть включены в состав платформы безопасности веб-приложений.

Диспетчер ботов можно использовать, чтобы разрешить использование одних ботов и заблокировать использование других, которые могут нанести вред системе. Для этого менеджер ботов будет классифицировать любые входящие запросы от людей и хороших ботов, а также известных вредоносных и неизвестных ботов. Затем диспетчер ботов направляет любой подозрительный трафик ботов с сайта.

Некоторые базовые наборы функций управления ботами включают ограничение скорости передачи IP-адресов и CAPTCHA. Ограничение скорости IP-адреса ограничивает количество запросов с одним и тем же адресом, в то время как CAPTCHA часто использует головоломку, чтобы отличить ботов от людей.

Помните, что хорошие боты являются важной частью интернет-инфраструктуры и выполняют множество полезных задач. Но плохих ботов трудно обнаружить без антивирусной программы, потому что они созданы, чтобы прятаться на виду. Поэтому важно осознавать риски, связанные с вредоносными ботами, и всегда соблюдать правила кибербезопасности.

Статьи по теме:

Что такое боты? – Определение и объяснение

Что такое компьютерный бот? Интернет-бот или веб-робот — это автоматизированная программа, которая выполняет автоматизированные задачи. Узнайте, как защитить себя от вредоносных ботов.

Googlebot – общее название поискового робота Google. Существуют два типа таких роботов: имитирующий компьютер имитирующий пользователя монитора.

Скорее всего, ваш сайт будет сканироваться роботами всех типов. Определить страницу, которую именно робот посещает, можно по строке агента пользователя в запросе. Обратите внимание, что оба робота включают один и тот же токен агента пользователя (токену робота Google), поэтому в файле robots.txt для них невозможно установить разные правила.

Если ваш сайт уже индексируется с приоритетом трафика, большинство поступающих на сканирование будет исходить от робота Googlebot для мобильных устройств. Запросы к тем сайтам, еще не были оптимизированы, которые в основном исходят от робота, имитирующего поведение компьютера пользователя. В случаях, когда поисковый робот отправляет исходные документы, будет сканировать только те URL, которые уже обработали робот, отправляющий большую часть документов.

Как Googlebot работает с вашим сайтом

Робот Googlebot может не встречаться на сайте чаще, чем раз в несколько секунд (в среднем). Это относится к большинству страниц.В случае задержки посещения сайта нашими роботами может немного увеличиться.

Как закрыть роботу Googlebot доступ к вашему сайту

Даже если вы сами не размещаете ссылки на свой веб-сервер, сохраните его в секрете без ссылок. Как только кто-нибудь перейдет по ссылке с вашего "секретного" сервера на другой, URL, переданный в теге источник ссылки, может быть сохранен и опубликован на целевом сервере в журнале источников ссылок. Кроме того, в Интернете установлено множество неработающих ссылок. Если на чужой странице размещена или установлена ссылка на ваш сайт, робот Googlebot углубляется в поиск по ней.

Если вы хотите предотвратить сканирование своего сайта роботом Googlebot, рассмотрите эти факты. Обратите внимание, что запрет на сканирование, запрет на индексирование и блокировку доступа к взаимодействию с поисковыми роботами и пользователями приложений с текстурами.

Насколько уверены, что ваш сайт сканирует именно робота Googlebot

Помните, что структура агента пользователя Googlebot часто имитирует другие поисковые роботы. Прежде чем заблокировать доступ к интересующим роботам, убедитесь в том, что частный запрос поступил именно от Google. Мы рекомендуем использовать для этого обратный DNS-запрос по IP-адресу источника или сравнить IP-адрес источника с диапазоном IP-адресов робота Googlebot.

Если не указано иное, содержимое этой страницы предоставляется по лицензии Creative Commons Attribution 4.0, а образцы кода — по лицензии Apache 2.0. Подробнее см. в Правилах сайта Google Developers. Java является зарегистрированным товарным знаком Oracle и/или ее дочерних компаний.

Читайте также: