Новости интернета

[• Bravo]

Просто надо внедрять WAF..

[• alexey]

Можно же правило сделать из UserAgent + URL -- бан на уровне веб-сервера по маске запроса?

Сейчас правило выдаёт 404 страницы. Но яндекс и гугл боты продолжают на них лезть.

Была даже теория, что сначала на несуществующие страницы долбятся гугл-боты, потом их обращения видет яндекс.метрика и отправляет своих ботов туда. И это создаёт "вечный двигатель" из ломящихся ботов. Но она не подтвердилась.

--------------------

Огромная фотогалерея Чебоксар и Чувашии доступна на сайте https://fotocheb.ru
Там есть фото всех домов, большинства организаций, строек, виды с высоты, 12000 исторических фото...
Все фото подписаны. Их можно найти на карте, по адресу, по датам и так далее

[• MPA3b]

Сейчас правило выдаёт 404 страницы. Но яндекс и гугл боты продолжают на них лезть.

А статус ответа точно 404?
А ну да, проверил.

Была даже теория, что сначала на несуществующие страницы долбятся гугл-боты, потом их обращения видет яндекс.метрика и отправляет своих ботов туда. И это создаёт "вечный двигатель" из ломящихся ботов. Но она не подтвердилась.

Метрика может выполняться только в браузере, где есть JS.
Никто вам не запрещает сделать подключение метрики и или другого внешнего js условным -- если статус ответа меньше 400.
У вас там сейчас только liveinternet в теле документа.

Сообщение отредактировал MPA3b - Sep 4 2024, 22:20

--------------------

Делаю сайты.