QUOTE(MIRhosting.com @ 05.09.2005, 01:58)
Есть разница между поисковиками и подобными ботами.
Главное - разная нагрузка. Поисковики "нападают" на сайты основательно но достаточно редко.
Не соглашусь, возможно это было верно несколько лет назад. А сейчас поисковики довольно активно и регулярно гуляют по сайтам.
QUOTE(MIRhosting.com @ 05.09.2005, 01:58)
Теперь предположим, что 10 клиентов, расположенных на одном сервере добавили Вашу систему для мониторинга, причем добавили (что тут мелочится) проверку каждую минуту.
Давайте еще предположим что сайт Вашего клиента стал, о ужас, популярным, и посещаемым. А если таких сайтов не один, а 10 на одном сервере. Просто кохмарный сон хостера. :-)
QUOTE(MIRhosting.com @ 05.09.2005, 01:58)
Оцените загрузку в таком случае.
Легко. 24 часа * 60 минут = 1440 запросов в сутки. Теперь считаем что обычный пользователь заходя на сайт создает в среднем от пяти до десяти запросов (возьмем семь) при просмотре страницы (яваскрипты, картинки, стили). Плюс просматривает скажем 3 страницы. Т.е. один человек создает
7 запосов на 3 страницы = 21 запрос на пользователя.
Т.е. 1440 запросов эквивалентны примерно 70 посетителям в день
(1440 / 211 = 68).
Я так понимаю это безумная нагрузка. Для десяти сайтов это будет уже 700 человек в день. Просто ужас, не каждый серер может справиться с такой нагрузкой :-)
Теперь прикинем затраты по трафику. Средняя страница весит 30 килобайт - это 1440 страниц в сутки * 30 дней * 30 Кб = 1,3 Gb.
Я специально посмотрел Ваши тарифы - полученные 1,3 Gb замечательно укладываются даже в минимальный тарифный план.
QUOTE(MIRhosting.com @ 05.09.2005, 01:58)
Если еще учесть, что это может быть не 10 клиентов а намного больше (для виртуального хостинга цифры в сотни аккаунтов - норма).
И Вы хотите сказать что каждый клиент первым делом добавляет свой сайт для мониторинга?
QUOTE(MIRhosting.com @ 05.09.2005, 01:58)
Конкретный вопрос - у Вас когда пользователи добавляют свои сайты - Вы определяете их IP? Если да, то потом система делает один запрос по этому IP или на каждый адрес? Насколько я понимаю, второе. В этом и дело.
Естественно второе. Потому что доступность 80-го порта по заданному IP совсем не равнозначно нормальному функционированию вебсервера, и уж совсем не равнозначно функционированию сайта конкретного пользователя.
Меня вообще говоря иногда удивляет "забота" о пользователях, когда провайдеры блокируют целые подсети как спаммерские на основании сомнительных блек листов. Или закрывают доступ к сайту с некоторых IP без ведома пользователей. По хорошему клиент сам должен управлять тем получать или не получать почту с конкретных адресов, или блокировать доступ к сайту с того или иного IP адреса, если клиенту положено полтора гигабайта трафика, то его дело решать как этим трафиком распорядиться.
Если вернуться к нашей ситуации, то на мой взгляд, при возникновении каких либо проблем нужно вопрос решать не строчкой в конфиге файрвола, причем без ведома пользователя, а общением с клиентом, или с в тяжелых случаях с нашей службой поддержки. Блокирование IP ни к чему хорошему не приведет, по опыту скажу, после попадания наших адресов в бан лист хостера, и соответственно с проблемами мониторинга сайтов пользователей, возникают вопросы "Почему хостер Икс закрыл свои сервера для мониторинга? Ага. У него наверно проблемы с Аптаймом, и ему есть что скрывать!".
Я прекрасно понимаю что есть разные ситуации, и клиентский скрипт может быть написан таким образом что и несчастные 100 запросов в день выводят сайт в глубокий даун. Или к примеру, был у нас случай когда пользователь решил завалить сайт конкурентов и добваил его сайт несколько тысяч раз для мониторинга с интервалом в одну минуту. Понятно что и первая и вторая ситуации не нормальны, в первом случае нужно разбиратся со скриптом, во втором с зловредным пользователем.