Столкнулся с проблемой:
Однажды в один прекрасный день мой сайт на котором я размещаю платные ссылки был отключен хостинг-провайдером.
О причине отключения они меня уведомили в письме:
«Ваш сайт превысил допустимую нагрузку на сервер. »
Начали разбираться …..
Выяснилось что вешает сервак базовый скрипт, отвечающий за отображение страниц.
Ну думаю, флудеры, открыли сайт и начали страницу обновлять…
Поставил на сайт защиту от флуда.
Спустя сутки на sape половина моих ссылок ушли в ЕРРОР. Это означает что робот их не смог найти на сайте и за них перестали начислять деньги. Доход упал в два раза, а я был просто шокирован.
Я начал активно переписываться со службой поддержки. Вариантов было много, но ничего по делу.
И тут я вспомнил антифлуд, и понял, что саповский робот создаёт эффект флуда, пытаясь за короткий срок перебрать все страницы и проверить на них наличие ссылок.
Тут-то я и задумался. Решение было простым:
Проверять IP c котороо гузится сайт и если это один из IP сапы то делать задержку — 3-10 секунд. Робот готов ждать 15 секунд.
Всё установил. И на следующее утро проблема отпала сама собой:)
Скачать этот не хитрый скрипт можно здесь:
Антифлуд защита от робота SAPE
Для его работы подключите этот файл на обработке страницы.