Мартин Сплитт из Google ответил на вопрос о вредоносных ботах, влияющих на производительность сайта, и предложил рекомендации, которые должен знать и применять каждый SEO-специалист и владелец сайта.
Вредоносные боты - проблема SEO
Многие SEO-специалисты, проводящие аудит сайтов, обычно не учитывают безопасность и трафик ботов в рамках аудита, потому что цифровые маркетологи не очень понимают, что события безопасности влияют на производительность сайта и могут объяснять, почему сайт неполноценно просматривается. Улучшение основных показателей веб-сайта ничего не даст для повышения производительности сайта, если плохая система безопасности способствует низкой производительности сайта. Каждый сайт подвергается атакам, а последствия чрезмерного ползания могут вызвать код ответа "500 server error", сигнализирующий о неспособности обслуживать веб-страницы и препятствующий способности Google ползать по веб-страницам.
Как защититься от атак ботов
Человек, задавший вопрос, хотел получить совет Google о том, как бороться с волнами ботов-скреперов, влияющих на производительность его сервера. Вот что было задано: "Наш сайт испытывает значительные сбои в работе из-за целенаправленного скрейпинга автоматизированным программным обеспечением, что приводит к проблемам с производительностью, увеличению нагрузки на сервер и потенциальным проблемам безопасности данных. Несмотря на блокировку IP-адресов и другие превентивные меры, проблема сохраняется. Что мы можем сделать?" Мартин Сплитт из Google предложил определить службу, которая служит источником атак, и уведомить ее о неправомерном использовании ее услуг. Он также рекомендовал использовать возможности брандмауэра CDN (Content Delivery Network). Мартин ответил: "Это похоже на проблему распределенного отказа в обслуживании, если ползание настолько агрессивно, что приводит к снижению производительности. Вы можете попробовать определить владельца сети, из которой идет трафик, поблагодарить "их хостера" и отправить уведомление о злоупотреблении. Обычно для этого используется информация WHOIS. В качестве альтернативы CDN часто имеют функции обнаружения бот-трафика и его блокировки, и по определению они забирают трафик с вашего сервера и распределяют его, так что это уже победа. Большинство CDN распознают легитимных ботов поисковых систем и не блокируют их, но если это вызывает у вас серьезные опасения, подумайте о том, чтобы спросить их, прежде чем начать использовать их."
Сработают ли советы Google?
Определение облачного провайдера или центра обработки данных сервера, на котором размещены вредоносные боты, - хороший совет. Но есть множество сценариев, в которых это не сработает.
Три причины, по которым обращение к поставщикам ресурсов не принесет результата
1. Многие боты скрыты. Боты часто используют VPN и открытые сети "Tor", которые скрывают источник ботов, что сводит на нет все попытки идентифицировать облачные сервисы или веб-хосты, предоставляющие инфраструктуру для ботов. Хакеры также прячутся за взломанными домашними и рабочими компьютерами, называемыми ботнетами, чтобы совершать свои атаки. Идентифицировать их невозможно.
2. Боты меняют IP-адреса. Некоторые боты реагируют на блокировку IP-адресов мгновенным переключением на другую сеть, чтобы тут же возобновить атаку. Атака может исходить с немецкого сервера, а после блокировки переключиться на сеть провайдера в Азии.
3. Неэффективное использование времени. Обращаться к сетевым провайдерам по поводу недобросовестных пользователей бесполезно, если источник трафика скрыт или поступает из сотен источников. Многие владельцы сайтов и SEO-специалисты могут быть удивлены, узнав, насколько интенсивны атаки на их сайты. Даже принятие мер против небольшой группы нарушителей - неэффективное использование времени, потому что существуют буквально миллионы других ботов, которые заменят заблокированных облачным провайдером. А что говорить о ботнетах, состоящих из тысяч взломанных компьютеров по всему миру? Думаете, у вас есть время, чтобы уведомить всех этих провайдеров? Это три причины, по которым уведомление провайдеров инфраструктуры не является жизнеспособным подходом к остановке ботов, влияющих на производительность сайта. Реально, это бесполезное и неэффективное использование времени.
Используйте WAF для блокировки ботов
Использование брандмауэра веб-приложений (WAF) - хорошая идея, и именно эту функцию предлагает Мартин Сплитт, когда упоминает об использовании CDN (сети доставки контента). CDN, например Cloudflare, отправляет браузерам и краулерам запрашиваемую веб-страницу с ближайшего к ним сервера, ускоряя работу сайта и сокращая ресурсы сервера для владельца сайта. CDN также имеет WAF (Web Application Firewall), который автоматически блокирует вредоносных ботов. Предложение Мартина об использовании CDN - это, безусловно, хороший вариант, особенно потому, что он имеет дополнительное преимущество в виде повышения производительности сайта. Вариант, о котором Мартин не упомянул, - это использование WAF-плагина WordPress, например Wordfence. В Wordfence есть WAF, который автоматически блокирует ботов в зависимости от их поведения. Например, если бот запрашивает нелепое количество страниц, он автоматически создаст временный IP-блок. Если бот переключится на другой IP-адрес, он определит его поведение и снова заблокирует. Еще одно решение - SaaS-платформа, например Sucuri, которая предлагает WAF и CDN для ускорения работы. И Wordfence, и Sucuri являются надежными поставщиками безопасности WordPress и поставляются с ограниченными, но эффективными бесплатными версиями.
Источник: searchenginejournal.com
Источник изображения: https://ru.freepik.com/free-vector/artificial-intelligence-isometric-ai-robot-mobile-phone-screen-ch...
