Имеется вполне вменяемый хостер, но в договоре у хостера есть пункт о непревышении среденсуточной 5% загрузки процессора.

На этом хостинге имеется сайт(Drupal)+форум(SMF)+Галерея(Gallery2). Пользователей не так много.
160 зарегистрированных. Максимальное количество одновременных посещений, по данным самой акивной компоненты SMF - 23.

В общем не самое популярное и активное место в Интернете.
Однако, последние несколько дней хостер грозится заблокировать сайт мотивируя тем, что среднесуточная нагрузка на процессор превышает разрешённые тарифом 5%.

Эксперимент показывает, что если банально запустить wget (не важно на сайт, форум или галерею) и подержать его запущенным в течение минут 5, то монитор загрузки у хостера тут же выдаёт мне, что мои приложения превышают допустимую загрузку в 4-7 раз...
Загрузка не зависит от метода запуска - пробовал запускать и под апачем и через cgi-bin (php4 и php5).

Что ж это получается, не прибегая ко всяким ухищрениям типа DDOS атаки, с помощью wget запущенного по бесконечному циклу, я могу руками хостера "положить" любой сайт у него размещённый? Как-то странно это....

Как подобная проблема решается обычно решается хостерами?

Спасибо.
ДК

недостижимо идеальная формула "Каждому по потребностям, от каждого по способности"



не "положить", а съесть бюджет пользователя. потому как избежание наказания блокировкой обычно требует какой-либо оплаты.

заведите машину и оставьте на холостых оборотах - через сутки пол-бака бензина не будет, хотя машина не проедет и сантиметра. неужели ещё не придумали вечного двигателя?

Не поняли о чем именно речь.
О высокой нагрузке от wget?
Или от скриптов?
За wget нас с одного хостера выгнали очень бодро, всего-то в 2 потока его запускали, да и то иногда. Почему - так и не разобрались. У другого хостера в 10 потоков на постоянке нормально работает.
Если от скриптов, то в общем-то хосты и количество юзеров и количество сообщений не особо важно. А нагрузку могут создавать бешенные боты поисковиков, которые иногда такой онлайн создают, что уже ничего не хочется.

kpv, я не понимаю ни вашей аналогии, ни конечной мысли.
про аналогию - если я сам заведу машину и оставлю на холостых, то это моё личное горе, но если мой горе сосед решит мне навредить и запустит мою машину на холостых оборотах, то мне это не понравится.

про "положить" - какая разница как это называть? я говорю о том, что зная, что мой конкурент находится на на хостинге "Х", я особо не напрягаясь могу сделать так, чтобы сайт моего конкурента стал недоступен - мне достаточно запустить wget или Teleport Pro (хостер же заблокирует сайт конкурента) и мне такая ситуация не кажется нормальной.

Собственно частично вопрос был следующий - у всех хостеров такая ситуация?


2 edogs:
Речь идёт в wget, который запущен с удалённой машины и грузит страницы с обсуждаемого сайта...
Запущен он в один поток, рекурсивно - т.е. по сути это эмуляция одного пользователя, который в одном окне браузера плотненько (не делая паузы между окончанием загрузки страницы и кликом по новой ссылке) ходит по сайту.

Это была вторая часть моего вопроса - неужели програмное обеспечение SMF и Drupal, где всего-то 10000 сообщений и 23 одновременных посещения в максимуме, совершенно не рассчитано на обычных наших российских хостеров и под них нужно заводить выделенные сервера? Мне трудно в это поверить и я подозреваю, что мой хостер что-то химичит/ошибается в подсчёте этой нагрузки...


Спасибо.
ДК

Это можно решить, взяв недорогой VPS

И потеряв сразу всю инфраструктуру включающую распределённую почту, круглосуточное наблюдение и так далее.

1. вы не могли бы мне в личку написать примеры недорогих, но надёжных VPS.

2. я всё равно не получил ответы на свои вопросы...
т.е. на первый получил - если сайт размещён на обычном недорогом хостинге, то его можно легко завалить...
а вот на второй не получил...
действительно ли плюгавый форум SMF и CMS Drupal, соврешенно не рассчитаны на то, чтобы размещаться на обычных хостингах и уже даже при небольшом количестве запросов требуют всяких VPS, VDS?



Как же я не хотел разбираться во всей этой хостинговой хренотени премудрости...
Думал поставлю Друпал, проплачу хостинг и всё пучком будет... А тут на тебе бабушка Юрьев день...

О!



Ну по хорошему, Друпал он здорово грузит. Попробуйте убрать языковую поддержку и автоматические как там это называется - алиасы ссылок что ли?

Спасибо за ваше участие...
Я почитаю профильные конфы по друпалу и СМФ...
Языковую поддержку отключать не хочется, а то, что path грузит сильно - не верится...
К тому же, за друпал я почти не волнуюсь ибо на него пользователи ходят редко и подолгу не засижываются... А вот SMF это другое дело...

Он в базу LIKE'ом смотрит. Может в 6-ке уже не так - не проверял.



Абсолютно точно - он каждую ссылку по базе проверяет. Это вообще основное.

SMF к сожалению не копал.

Именно с удалённой?

10,000 сообщений и 23 одновременных посещения это вообще ничего не значащие цифры. Эти же 23 одновременных сообщения могут означать 23,000,000 хитов в секунду в течении часа 23 разными IP, например. Попросите у хостера лог нагрузки - какие скрипты генерят, slow query log мускульный так же, посмотрите количество хитов в сутки и их распределение - равномерное ли оно. Почините все таблицы в БД. Проверьте не растет ли еррор_лог в смф (там из админки это смотрится), он его до кучи в базу пишет, иногда ОГОГО как разрастается и тормозит соответственно. Если смф не последней версии, то у них там была пара релизов с жуткими тормозами непонятно откуда, 2-3 секунды против обычных 0.5 - подозреваем что нагрузка тоже была.

Можно взять почтовый тариф для почты (масло масляное), а сайт поместить на VPS
Служб, которые мониторят доступность сайтов и smsят - тоже хватает

История из жизни. 2003 год. Июль. Суббота, ранняя ночь. Вуокса около Приозерска (вдвч Корела/Кексгольм/Кякисалми). Остров Олений (вдвч Хирвисаари). До платформы грести час-полтора. Поезда ходят раз в 3 часа где-то. Поезду идти часа 3 до города. В 4 утра мобильный телефон Sony-Ericsson R520 милостливо сообщает мне посредством SMS что mail.peterhost.ru лежит. Мониторинг хороший - с диагностикой, раз в 15 минут говорит мне что даже пинга нет. Сервер естественно единственный без дублирования. Около 1000 клиентов.

А почтовый тариф... у кого кстати?

А чего без дублирования - естественно?

У гугла есть платный

Маленькие были. Да ладно, тут на форуме у большинства вообще всё на одном сервере...



Ну разве что

у гугла и бесплатный вроде есть и вот так по ощущениям, намного лучше хостерских

У гугла и хостинг скоро будет платный, при том, кластерный....
Вы как то себе противоречите. Если мне компния показывает почту от гугла, я лично этой компании не верю, тем более, если она предлагает какие то IT услуги.
Yahoo тоже имеет о почту и хостинг, к стати, почта лучше чем от гугла.



Уточнением разрешаемых ресурсов и цены. Если хостёр не обеспечивает работы проекта, смена хостёра.



Для форума с 160 зарегистрированными пользователями? Так может ешё кластер нужен и "как бы админ" для управления этим кластером?




Хмм, видимо у нас с вами разные ощущения

Кластер для форума не нужен, а вот бюджетный VDS - самое оно

Я выделил ключевое место. Обратите внимание - хостер, блокируя Ваш сайт, фактически лишается Вас как клиента. Лишается платежей за Ваш хостинговый аккаунт и можно было бы подумать, что лишается дохода.
А на самом деле... А на самом деле все просто. У каждого продукта есть себестоимость. В себестоимость входят начальная стоимость самого продукта, плюс все накладные расходы по доставке этого продукта на рынок и его продажу. Для того чтобы выжить, продавец обязан расчитать себестоимость продукта и сделать наценку, т.е. продавать товар дороже себестоимости. Иначе продавец неминуемо обанкротится и исчезнет с рынка.
В случае с хостингом есть сервер, программное обеспечение для него, есть сисадмины его обслуживающие, есть операторы поддержки обслуживающие Вас и другие вещи из которых складывается себестоимость "сервера" (а точнее - себестоимость системных ресурсов выделенных Вашему сайту).

Если хостер грозится заблокировать Ваш сайт, значит себестоимость системных ресурсов потребляемых Вашим сайтом выше, чем цена, которую Вы платите, поэтому содержание Вашего сайта на сервере не выгодно хостеру. Если бы себестоимость системных ресурсов потребляемых Вашим сайтом была ниже цены, которую Вы платите, содержание Вашего сайта было бы выгодно хостеру и у хостера небыло бы причин блокировать Ваш сайт, поскольку он потерял бы собственную выгоду.

Поэтому совершенно нет смысла не верить хостеру - если хостер говорит, что сайт потребляет ресурсов больше дозволенного, значит так и есть. Обращу внимание на ключевой момент - рамки "дозволенного" как и себестоимость системных ресурсов определяет сам хостер, поэтому вполне возможно (но совершенно не обязательно) у другого хостера картина может быть иной и сайт впишется в рамки доволенного.


Из этого складывается впечатление, что хостер считает 5% не среднего потребления ресурсов, а пиковой нагрузки (т.е. нагрузки созданной в единый момент времени). Если это на самом деле так - по моему мнению это не правильно, т.е. это очень мало - обычно разрешают до 30% пиковой нагрузки, а иногда и выше.



Это не странно.
Более того, даже забыв о нагрузках - например, если на сервере установлен apache (сервис отдающий страницы в веб), то у апача есть лимит на общее количество одновременных соединений. Обычно этот лимит устанавливают от 100 до 200, на средних серверах чаще всего вижу значение 150. Если создать большее количество соединений - на все соединения созданные после первых 150 апач отвечать не будет и это будет выглядеть так, как буд-то сайты упали. Если у хостера не залимитировано количество соединений с одного IP, а у Вас быстрый интернет - Вы можете запустить программу циклически скачивающую весь сайт без ограничения по количеству потоков, если программа создаст более 150-ти потоков Вы "положите" все сайты расположенные на этом сервере хостера.
Но - большинство софта имеет ограничения на количество потоков, даже поисковики индексируют сайты довольно "щадяще", поскольку большое количество одновременных соединений от Вас может быть воспринято серверными программами хостера как атака (тот самый ддос или точнее здесь подходит определение флуд) и доступ с Вашего IP может быть заблокирован.
Обычно количество соединений с одного IP также залимитировано на сервере хостера, т.е. подобные нюансы давным давно проработаны и предусмотрены.
Если же Вы поставили скрипт создающий высокие нагрузки - то Вы сами кладете свой сайт руками хостера, а не тот, кто запустит wget натравив его на Ваш сайт. Самое сложное - определить действительно ли скрипт создает чрезмерные нагрузки или просто хостер определил слишком высокой себестоимость ресурсов. В первом случае нужно оптимизировать скрипт (либо искать более дорогие решения, как вип-тарифы или VDS), во втором случае можно ограничиться переходом к другому хостеру.

Установите на своем компьютере Apache, PHP, MySQL (или возьмите готовый пакет типа денвера), скопируйте Ваш сайт к себе на компьютер, заставьте его работать на собственном локальном компьютере и натравите на него wget локально, последите за нагрузками на компьютере - думаю картина станет яснее. Учтите при этом, что на Вашем компьютере Ваш сайт один, а на сервере их множество и каждый потребляет системные ресурсы и хостер заботиться о том, что бы каждому их хватало.

P.S. "Многабукв" получилось, простите... но тема нагрузок на шаред-хостинге была есть и будет актуальной во все времена существования шаред хостинга. Своими глазами видел как школьники меряются тарифными планами, мол у меня 30GB за 8$ а у меня 50GB за 5$ и врядли кто-то из них понимает, что денег стоит не место, а системные ресурсы (процессор, память и т.п.) и тем более врядли кто из них понимает, что делать резервное копирование их 50-ти GB за 5$ если и будут, то только малонадежный инкрементальный бэкап. Удручает такая картина.

edogs, Phil Kulin,

Спасибо большое! Буду думать в направлении оптимизации.

edogs, да wget я запускаю на удалённой! не веришь? хочешь землю есть буду?!
Phil Kulin, очень надеюсь побывать на Оленьем в начале августа.

Ребят, всем спасибо... VPS пока не вариант... это сайт соседей по дому... вряд ли дом захочет выкладывать по 700р в месяц за виртуальное общение... Потенциальных рекламодателей пока мало, но и честно говоря не хочется захламлять общение банерами всякими...
Когда победим ТСЖ возможно поставим сервак прямо там... в конце концов если ляжет, то не так уж и страшно.... Просто сейчас, во время борьбы это действительно важно чтобы сервак работал нормально... А тут оказывается его wgetом повалить можно... вот я и расстроился...

Спасибо!
ДК

Ой, мудрите товарищи хостеры, оверселом занимаетесь, вот и грузит маленький форумок сервак, потому что там таких форумков огроменная куча лежит. Я вас не виню, по другому то невыгодно быть хостером, ведь так мне отвечали в теме на пару строк ниже (тут http://forum.hostobzor.ru/index.php?showtopic=10810 )

Землю не надо Просто попытайтесь выяснить в чем именно причина нагрузки, т.к. для "среднестатической" ситуации нагрузка достаточно атипичная. А если выясните, не погнушайтесь потратить пару минут, что бы вернуться в топик и отписать об этом, нам любопытно.


WebXL, Вы знаете, согласимся с Вашим постом на 99%, все очень правильно написано... кроме отквоченного. Имели дело минимум с 3 хостерами, 1 из них до сих пор жив, у которых нормой являлось выдумывать из пальца нагрузку, с целью пересадить клиента на вдс/сервер. Имена уж простите не назовем, придется поверить нам на слово. И это именно выдумки вида "Вы кушаете 50% нашего сервера", а не просто низкая дозволенность вида "Вы превышаете нагрузку, у нас не более 0.01% на аккаунт". То есть на самом-то деле это редкость, но факт иногда имеет место быть.

WebXL - отдельное спасибо за столь развёрнутый ответ.
Я хостера не в умышленном обмане больше подозревал, а в ошибке какой не в мою пользу... Больше не буду...

Проясню по поводу пиковости загрузки - монитор загрузки, который мне досупен выдаёт данные каждые 10 минут усреднённые за эти самые 10 минут. Также он выдаёт среднесуточную загрузку на данный момент.

В некоторые 10 минутные интервалы, загрузка моего сайта была 700%, если учесть, что за 100% берутся отведённые мне 5% процессорного времени, то получается, что мои прложения в течение 10 минут зажирали в среднем 35% процессорного времени. ИМХО, непомерно много....



Ещё вопрос к понимающим хотя и оффтопик - куда бы в Питере посмотреть чтобы найти человечка, который за толику малую смог бы оказать консультационные услуги по оптимизации Drupal и SMF.

Поищите на free-lance.ru , с программерами там не особо хорошая ситуация, но при удачном стечении обстоятельств найти можно.

Кстати да...
Когда мой вменяемы хостер имел проблемы и мой сайт то падал, то доступен не был. Хостер всегда извинялся, но предлагал перейти на VIP тариф, VPS, VDS - в общем куда угодно где дороже...
Я им тогда объяснял, что само отображение страниц является основной услугой, которую они оказывают даже на самых дешёвых тарифах...



здесь есть проблема...
в access.log не пишется время затраченное на генерацию страницы.
превышение же нагрузки мне выводится среднее за последние 10 минут.
Хостер предлагает смотреть какие запросы были в эти 10 минут. Буду пробовать, но что-то мне подсказывает, что всё не будет так очевидно....

Что хостер ответил на просьбу включить mysql slow query logs? (увидите медленные запросы к базе если они есть).
Возьмите access log за 10 минут и посмотрите нет ли там слишком часто идущих запросов с одного IP. (увидите ситуацию, иногда бывает, страница зацикливается в редиректах, идет загрузка-редирект-загрузка-редирект и т.д. ).
Насколько мы помним, в access logs можно добавить время (в секундах), на отдачу страницы, правда хостер может (и имеет право) не пойти тут на встречу?
Убейте временно друпал или сфм или галлери2, по крайней мере локализуете проблему.
Ну и посмотрите логи ошибок, в том числе в СМФ базе, не разрослись ли они до бешенных размеров.
wget пишет сколько времени уходит на скачивание страницы sic! при чем достаточно точно, в свой лог, можете натравить его на свой сайт (благо опыт есть) и посмотреть на каких страницах начинаются тормоза.
По остальному уже прийдется к специалистам скорее всего.

//дописали

Да, бывает, у разных компаний разная политика. Кстати потому обращал внимание на два момента:

Ой, друг мой, забудьте Вы это слово... "кла-стер"... тьфу! Кластера не существует



Да честно говоря, никто не стремится как мне кажется избавиться от этой темы. Вот сколько занимаюсь хостингом, столько меня и удивляет изолированность разработчиков от хостеров. Не хочу никого обидеть, но даже элементарное обсуждение готовых панелек и ни одной адекватной свободной разработки. Все просто продают ту парадигму которую кто-то придумал ещё в 90-ых.



А объяснимо. Единственный формализуемый и подвергаемый расчёту параметр. Тот параметр по которому можно сказать - хватит или нет. Да, даже обманувшись.
Вы вот видели с каким-нибудь программным продуктом подробное исследования чего он "кушает" кроме места на диске и пороговых ограничений на процесс? Я нет. Вернее, видел, но это точно не популярное ПО среди массового клиента.



Да пожалуйста, обращайтесь ещё. Мы просто тут друпал недавно как раз всевозможно вертели.
Если с ветром повезёт в эти выходные, оставлю на скале которая большим таким ровным кирпичиком свою визитку

Вы видимо издеваетесь над ТС. Какая оптомизация с нулевой посещаемосьтью? Именно такая у ТС и может быть, при 160 зарегистрированных пользователей. Когда зарегистрированных будет хоть несколько тысячь, посещаемость выше 1000 уников, вот тогда надо начинать думать....

Вам как всегда лишь бы слово против сказать. У ТС проблема с нагрузкой. Нагрузка может быть вызвана, в частности, чем-то кривым в скриптах и/или чем-то кривым при их совмещении. ТС в этом ничего не понимает, хостер это решать не будет, ну и что Вы советуете ТС? Помолиться и забить? Типично по gylys-овски Ну а мы предложили поискать специалистов...
Разве это изолированность? Разработчики люди простые, им давай ТЗ, денег, сроки - будет продукт. А раз этого не происходит, значит хостеров всё устраивает и для бизнеса честный и прозрачный подсчет ресурсов не выгоден (вопрос как бы почему не выгоден оставим сейчас за кадром).

Я отлично знаю какие нагрузки может быть у SMF + Gallery 2 , Drupal при небольших посещенииях. Там нечего смотреть, отличные движки которые не может нагружать. Хостёр просто издевается над ТС или ТС что то утаивает. Безбожно грузить может только какие то скрипты чатов в реальном времени, но обычно хостёр это при первом тормозе.