28 июля 2022 в 16:06
Всем привет, анализ журнала доступа показывает множество запросов от Google Bot, обращающихся к таким страницам, как:
"172.69.68.251 - - [27/Jul/2022:23:45:09 +0300] "GET /undervaluinglikes9v90/wgkmsk528891.htm HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.70.51 - - [27/Jul/2022:23:45:09 +0300] "GET /discount.php?dioxyau91453400 HTTP/2" 404 9918 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.155 - - [27/Jul/2022:23:45:10 +0300] "GET /discount.php?ilitmi467306 HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.129 - - [27/Jul/2022:23:45:12 +0300] "GET /Q6qqAEJZ.html HTTP/2" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.63 - - [27/Jul/2022:23:45:12 +0300] "GET /discount.php?overbd1045285 HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.70.51 - - [27/Jul/2022:23:45:09 +0300] "GET /discount.php?dioxyau91453400 HTTP/2" 404 9918 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.155 - - [27/Jul/2022:23:45:10 +0300] "GET /discount.php?ilitmi467306 HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.129 - - [27/Jul/2022:23:45:12 +0300] "GET /Q6qqAEJZ.html HTTP/2" 301 449 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
"172.69.71.63 - - [27/Jul/2022:23:45:12 +0300] "GET /discount.php?overbd1045285 HTTP/2" 404 0 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.134 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)""
За последние 24 часа было сделано 240,3 тыс запросов.
Все эти запросы создают очень высокую нагрузку на сайт. Может кто то сталкивался с такой проблемой, как можно решить ?
Комментарии
Это адреса не гугла, а Cloudflare - Вы пользуетесь Cloudflare на своем сайте? Если да, то почему не настроено восстановление оригинальных ip адресов посетителей? Прежде всего надо убедиться, что это действительно гуглбот, а не хакеры.
Да используем CloudFlare. А как настроить восстановление оригинальных ip адресов посетителей ?
https://support.cloudflare.com/hc/en-us/articles/200170786-Restoring-ori...
Но если у вас shared hosting, то сами вы этого не сделаете скорее всего.
Если все запросы к этим стремным адресам имеют совершенно одинаковый Referrer, то можно прямо по этому рефереру их и отшить, проще всего прямо в Cloudflare. Но если это настоящий GoogleBot, то он тоже отошьется и может обидеться.
PS Да и robots.txt никто не отменял, если конечно это настоящий гуглбот, а не жулики.
PPS Еще можно зайти в Google Search Console и посмотреть действительно ли вся эта дрянь проиндексирована гуглом. Если да, то ее можно там же и удалить. Там же можно настроить максимальную скорость обхода Вашего сайта ботом, поставить на самый минимум.
Через robots.txt запретили всем ботам заходить на сайт. Выяснили что это не google.
Скорее всего подвергаемся атаке.
P.S Сайт совсем новый с нулевой посещаемостью.
Вот что приходит на сайт:
Robots.txt не мгновенно срабатывает, но действительно не похоже на поведение Гугл бота. Cloudflare именно для того и нужен, чтоб от таких атак легко отбиваться. Попробуйте Bot Fight Mode включить для начала в максимально строгом режиме. Если не сработает, забаньте конкретный User Agent (я выше написал Referrer - это описка). Посмотрите в Security Log с каких именно внешних адресов идёт атака. Если из одной сети, то забаньте ее.