Помощь - Поиск - Пользователи - Календарь
Полная версия: Вопрос про загрузку процессора.
Онлайн-форум hostobzor.ru > Архив (темы до 1.06.2015). Только для чтения. > Коммерческий хостинг. Общие форумы > Общие вопросы
Страницы: 1, 2
Dmitry aka Sensor
Имеется вполне вменяемый хостер, но в договоре у хостера есть пункт о непревышении среденсуточной 5% загрузки процессора.

На этом хостинге имеется сайт(Drupal)+форум(SMF)+Галерея(Gallery2). Пользователей не так много.
160 зарегистрированных. Максимальное количество одновременных посещений, по данным самой акивной компоненты SMF - 23.

В общем не самое популярное и активное место в Интернете. smile.gif
Однако, последние несколько дней хостер грозится заблокировать сайт мотивируя тем, что среднесуточная нагрузка на процессор превышает разрешённые тарифом 5%.

Эксперимент показывает, что если банально запустить wget (не важно на сайт, форум или галерею) и подержать его запущенным в течение минут 5, то монитор загрузки у хостера тут же выдаёт мне, что мои приложения превышают допустимую загрузку в 4-7 раз...
Загрузка не зависит от метода запуска - пробовал запускать и под апачем и через cgi-bin (php4 и php5).

Что ж это получается, не прибегая ко всяким ухищрениям типа DDOS атаки, с помощью wget запущенного по бесконечному циклу, я могу руками хостера "положить" любой сайт у него размещённый? Как-то странно это....

Как подобная проблема решается обычно решается хостерами?

Спасибо.
ДК
kpv
Цитата(Dmitry aka Sensor @ 07.07.2008, 14:03) *

Как подобная проблема решается обычно решается хостерами?

недостижимо идеальная формула "Каждому по потребностям, от каждого по способности"

Цитата

я могу руками хостера "положить" любой сайт у него размещённый?


не "положить", а съесть бюджет пользователя. потому как избежание наказания блокировкой обычно требует какой-либо оплаты.

заведите машину и оставьте на холостых оборотах - через сутки пол-бака бензина не будет, хотя машина не проедет и сантиметра. неужели ещё не придумали вечного двигателя?
edogs
Не поняли о чем именно речь.
О высокой нагрузке от wget?
Или от скриптов?
За wget нас с одного хостера выгнали очень бодро, всего-то в 2 потока его запускали, да и то иногда. Почему - так и не разобрались. У другого хостера в 10 потоков на постоянке нормально работает.
Если от скриптов, то в общем-то хосты и количество юзеров и количество сообщений не особо важно. А нагрузку могут создавать бешенные боты поисковиков, которые иногда такой онлайн создают, что уже ничего не хочется.
Dmitry aka Sensor
Цитата(kpv @ 07.07.2008, 15:38) *

не "положить", а съесть бюджет пользователя. потому как избежание наказания блокировкой обычно требует какой-либо оплаты.
заведите машину и оставьте на холостых оборотах - через сутки пол-бака бензина не будет, хотя машина не проедет и сантиметра. неужели ещё не придумали вечного двигателя?


kpv, я не понимаю ни вашей аналогии, ни конечной мысли.
про аналогию - если я сам заведу машину и оставлю на холостых, то это моё личное горе, но если мой горе сосед решит мне навредить и запустит мою машину на холостых оборотах, то мне это не понравится.

про "положить" - какая разница как это называть? я говорю о том, что зная, что мой конкурент находится на на хостинге "Х", я особо не напрягаясь могу сделать так, чтобы сайт моего конкурента стал недоступен - мне достаточно запустить wget или Teleport Pro (хостер же заблокирует сайт конкурента) и мне такая ситуация не кажется нормальной.

Собственно частично вопрос был следующий - у всех хостеров такая ситуация?


2 edogs:
Речь идёт в wget, который запущен с удалённой машины и грузит страницы с обсуждаемого сайта...
Запущен он в один поток, рекурсивно - т.е. по сути это эмуляция одного пользователя, который в одном окне браузера плотненько (не делая паузы между окончанием загрузки страницы и кликом по новой ссылке) ходит по сайту.

Это была вторая часть моего вопроса - неужели програмное обеспечение SMF и Drupal, где всего-то 10000 сообщений и 23 одновременных посещения в максимуме, совершенно не рассчитано на обычных наших российских хостеров и под них нужно заводить выделенные сервера? Мне трудно в это поверить и я подозреваю, что мой хостер что-то химичит/ошибается в подсчёте этой нагрузки...


Спасибо.
ДК
eSupport.org.ua
Это можно решить, взяв недорогой VPS
Phil Kulin
Цитата(eSupport.org.ua @ 07.07.2008, 17:06) *

Это можно решить, взяв недорогой VPS


И потеряв сразу всю инфраструктуру включающую распределённую почту, круглосуточное наблюдение и так далее.
Dmitry aka Sensor
Цитата(eSupport.org.ua @ 07.07.2008, 17:06) *

Это можно решить, взяв недорогой VPS


1. вы не могли бы мне в личку написать примеры недорогих, но надёжных VPS.

2. я всё равно не получил ответы на свои вопросы...
т.е. на первый получил - если сайт размещён на обычном недорогом хостинге, то его можно легко завалить...
а вот на второй не получил...
действительно ли плюгавый форум SMF и CMS Drupal, соврешенно не рассчитаны на то, чтобы размещаться на обычных хостингах и уже даже при небольшом количестве запросов требуют всяких VPS, VDS?


Цитата(Phil Kulin @ 07.07.2008, 17:15) *

И потеряв сразу всю инфраструктуру включающую распределённую почту, круглосуточное наблюдение и так далее.

Как же я не хотел разбираться во всей этой хостинговой хренотени премудрости...
Думал поставлю Друпал, проплачу хостинг и всё пучком будет... А тут на тебе бабушка Юрьев день... sad.gif
Phil Kulin
Цитата(Dmitry aka Sensor @ 07.07.2008, 17:21) *

Как же я не хотел разбираться во всей этой хостинговой хренотени премудрости...


О!

Цитата(Dmitry aka Sensor @ 07.07.2008, 17:21) *

Думал поставлю Друпал, проплачу хостинг и всё пучком будет... А тут на тебе бабушка Юрьев день... sad.gif


Ну по хорошему, Друпал он здорово грузит. Попробуйте убрать языковую поддержку и автоматические как там это называется - алиасы ссылок что ли?
Dmitry aka Sensor
Цитата(Phil Kulin @ 07.07.2008, 17:26) *

Ну по хорошему, Друпал он здорово грузит. Попробуйте убрать языковую поддержку и автоматические как там это называется - алиасы ссылок что ли?

Спасибо за ваше участие...
Я почитаю профильные конфы по друпалу и СМФ...
Языковую поддержку отключать не хочется, а то, что path грузит сильно - не верится...
К тому же, за друпал я почти не волнуюсь ибо на него пользователи ходят редко и подолгу не засижываются... А вот SMF это другое дело...


Phil Kulin
Цитата(Dmitry aka Sensor @ 07.07.2008, 17:49) *

Языковую поддержку отключать не хочется,


Он в базу LIKE'ом смотрит. Может в 6-ке уже не так - не проверял.

Цитата(Dmitry aka Sensor @ 07.07.2008, 17:49) *

а то, что path грузит сильно - не верится...


Абсолютно точно - он каждую ссылку по базе проверяет. Это вообще основное.

SMF к сожалению не копал.
edogs
Цитата(Dmitry aka Sensor @ 07.07.2008, 15:14) *

2 edogs:
Речь идёт в wget, который запущен с удалённой машины и грузит страницы с обсуждаемого сайта...
Именно с удалённой?
Цитата(Dmitry aka Sensor @ 07.07.2008, 15:14) *

Это была вторая часть моего вопроса - неужели програмное обеспечение SMF и Drupal, где всего-то 10000 сообщений и 23 одновременных посещения в максимуме, совершенно не рассчитано на обычных наших российских хостеров и под них нужно заводить выделенные сервера? Мне трудно в это поверить и я подозреваю, что мой хостер что-то химичит/ошибается в подсчёте этой нагрузки...

10,000 сообщений и 23 одновременных посещения это вообще ничего не значащие цифры. Эти же 23 одновременных сообщения могут означать 23,000,000 хитов в секунду в течении часа 23 разными IP, например. Попросите у хостера лог нагрузки - какие скрипты генерят, slow query log мускульный так же, посмотрите количество хитов в сутки и их распределение - равномерное ли оно. Почините все таблицы в БД. Проверьте не растет ли еррор_лог в смф (там из админки это смотрится), он его до кучи в базу пишет, иногда ОГОГО как разрастается и тормозит соответственно. Если смф не последней версии, то у них там была пара релизов с жуткими тормозами непонятно откуда, 2-3 секунды против обычных 0.5 - подозреваем что нагрузка тоже была.
eSupport.org.ua
Можно взять почтовый тариф для почты (масло масляное), а сайт поместить на VPS
Служб, которые мониторят доступность сайтов и smsят - тоже хватает
Phil Kulin
Цитата(eSupport.org.ua @ 07.07.2008, 18:51) *

Можно взять почтовый тариф для почты (масло масляное), а сайт поместить на VPS
Служб, которые мониторят доступность сайтов и smsят - тоже хватает


История из жизни. 2003 год. Июль. Суббота, ранняя ночь. Вуокса около Приозерска (вдвч Корела/Кексгольм/Кякисалми). Остров Олений (вдвч Хирвисаари). До платформы грести час-полтора. Поезда ходят раз в 3 часа где-то. Поезду идти часа 3 до города. В 4 утра мобильный телефон Sony-Ericsson R520 милостливо сообщает мне посредством SMS что mail.peterhost.ru лежит. Мониторинг хороший - с диагностикой, раз в 15 минут говорит мне что даже пинга нет. Сервер естественно единственный без дублирования. Около 1000 клиентов.

А почтовый тариф... у кого кстати?
eSupport.org.ua
А чего без дублирования - естественно?

У гугла есть платный wink.gif
Phil Kulin
Цитата(eSupport.org.ua @ 07.07.2008, 20:37) *

А чего без дублирования - естественно?


Маленькие были. Да ладно, тут на форуме у большинства вообще всё на одном сервере... smile.gif

Цитата(eSupport.org.ua @ 07.07.2008, 20:37) *

У гугла есть платный wink.gif


Ну разве что
edogs
Цитата(eSupport.org.ua @ 07.07.2008, 19:37) *
У гугла есть платный wink.gif
у гугла и бесплатный вроде естьsmile.gif и вот так по ощущениям, намного лучше хостерскихsad.gif
gylys
Цитата(eSupport.org.ua @ 07.07.2008, 19:37) *

А чего без дублирования - естественно?

У гугла есть платный wink.gif


У гугла и хостинг скоро будет платный, при том, кластерный....
Вы как то себе противоречите. Если мне компния показывает почту от гугла, я лично этой компании не верю, тем более, если она предлагает какие то IT услуги.
Yahoo тоже имеет о почту и хостинг, к стати, почта лучше чем от гугла.

Цитата(Dmitry aka Sensor @ 07.07.2008, 13:03) *


Как подобная проблема решается обычно решается хостерами?



Уточнением разрешаемых ресурсов и цены. Если хостёр не обеспечивает работы проекта, смена хостёра.

Цитата(eSupport.org.ua @ 07.07.2008, 16:06) *

Это можно решить, взяв недорогой VPS


Для форума с 160 зарегистрированными пользователями? Так может ешё кластер нужен и "как бы админ" для управления этим кластером? laugh.gif


Цитата(edogs @ 07.07.2008, 20:24) *

у гугла и бесплатный вроде естьsmile.gif и вот так по ощущениям, намного лучше хостерскихsad.gif


Хмм, видимо у нас с вами разные ощущения biggrin.gif
eSupport.org.ua
Кластер для форума не нужен, а вот бюджетный VDS - самое оно
WebXL
Цитата(Dmitry aka Sensor @ 07.07.2008, 14:03) *


Однако, последние несколько дней хостер грозится заблокировать сайт мотивируя тем, что среднесуточная нагрузка на процессор превышает разрешённые тарифом 5%.

Как подобная проблема решается обычно решается хостерами?


Я выделил ключевое место. Обратите внимание - хостер, блокируя Ваш сайт, фактически лишается Вас как клиента. Лишается платежей за Ваш хостинговый аккаунт и можно было бы подумать, что лишается дохода.
А на самом деле... А на самом деле все просто. У каждого продукта есть себестоимость. В себестоимость входят начальная стоимость самого продукта, плюс все накладные расходы по доставке этого продукта на рынок и его продажу. Для того чтобы выжить, продавец обязан расчитать себестоимость продукта и сделать наценку, т.е. продавать товар дороже себестоимости. Иначе продавец неминуемо обанкротится и исчезнет с рынка.
В случае с хостингом есть сервер, программное обеспечение для него, есть сисадмины его обслуживающие, есть операторы поддержки обслуживающие Вас и другие вещи из которых складывается себестоимость "сервера" (а точнее - себестоимость системных ресурсов выделенных Вашему сайту).

Если хостер грозится заблокировать Ваш сайт, значит себестоимость системных ресурсов потребляемых Вашим сайтом выше, чем цена, которую Вы платите, поэтому содержание Вашего сайта на сервере не выгодно хостеру. Если бы себестоимость системных ресурсов потребляемых Вашим сайтом была ниже цены, которую Вы платите, содержание Вашего сайта было бы выгодно хостеру и у хостера небыло бы причин блокировать Ваш сайт, поскольку он потерял бы собственную выгоду.

Поэтому совершенно нет смысла не верить хостеру - если хостер говорит, что сайт потребляет ресурсов больше дозволенного, значит так и есть. Обращу внимание на ключевой момент - рамки "дозволенного" как и себестоимость системных ресурсов определяет сам хостер, поэтому вполне возможно (но совершенно не обязательно) у другого хостера картина может быть иной и сайт впишется в рамки доволенного.

Цитата
Эксперимент показывает, что если банально запустить wget (не важно на сайт, форум или галерею) и подержать его запущенным в течение минут 5, то монитор загрузки у хостера тут же выдаёт мне, что мои приложения превышают допустимую загрузку в 4-7 раз...

Из этого складывается впечатление, что хостер считает 5% не среднего потребления ресурсов, а пиковой нагрузки (т.е. нагрузки созданной в единый момент времени). Если это на самом деле так - по моему мнению это не правильно, т.е. это очень мало - обычно разрешают до 30% пиковой нагрузки, а иногда и выше.

Цитата
Что ж это получается, не прибегая ко всяким ухищрениям типа DDOS атаки, с помощью wget запущенного по бесконечному циклу, я могу руками хостера "положить" любой сайт у него размещённый? Как-то странно это....


Это не странно.
Более того, даже забыв о нагрузках - например, если на сервере установлен apache (сервис отдающий страницы в веб), то у апача есть лимит на общее количество одновременных соединений. Обычно этот лимит устанавливают от 100 до 200, на средних серверах чаще всего вижу значение 150. Если создать большее количество соединений - на все соединения созданные после первых 150 апач отвечать не будет и это будет выглядеть так, как буд-то сайты упали. Если у хостера не залимитировано количество соединений с одного IP, а у Вас быстрый интернет - Вы можете запустить программу циклически скачивающую весь сайт без ограничения по количеству потоков, если программа создаст более 150-ти потоков Вы "положите" все сайты расположенные на этом сервере хостера.
Но - большинство софта имеет ограничения на количество потоков, даже поисковики индексируют сайты довольно "щадяще", поскольку большое количество одновременных соединений от Вас может быть воспринято серверными программами хостера как атака (тот самый ддос или точнее здесь подходит определение флуд) и доступ с Вашего IP может быть заблокирован.
Обычно количество соединений с одного IP также залимитировано на сервере хостера, т.е. подобные нюансы давным давно проработаны и предусмотрены.
Если же Вы поставили скрипт создающий высокие нагрузки - то Вы сами кладете свой сайт руками хостера, а не тот, кто запустит wget натравив его на Ваш сайт. Самое сложное - определить действительно ли скрипт создает чрезмерные нагрузки или просто хостер определил слишком высокой себестоимость ресурсов. В первом случае нужно оптимизировать скрипт (либо искать более дорогие решения, как вип-тарифы или VDS), во втором случае можно ограничиться переходом к другому хостеру.

Установите на своем компьютере Apache, PHP, MySQL (или возьмите готовый пакет типа денвера), скопируйте Ваш сайт к себе на компьютер, заставьте его работать на собственном локальном компьютере и натравите на него wget локально, последите за нагрузками на компьютере - думаю картина станет яснее. Учтите при этом, что на Вашем компьютере Ваш сайт один, а на сервере их множество и каждый потребляет системные ресурсы и хостер заботиться о том, что бы каждому их хватало.

P.S. "Многабукв" получилось, простите... но тема нагрузок на шаред-хостинге была есть и будет актуальной во все времена существования шаред хостинга. Своими глазами видел как школьники меряются тарифными планами, мол у меня 30GB за 8$ а у меня 50GB за 5$ и врядли кто-то из них понимает, что денег стоит не место, а системные ресурсы (процессор, память и т.п.) и тем более врядли кто из них понимает, что делать резервное копирование их 50-ти GB за 5$ если и будут, то только малонадежный инкрементальный бэкап. Удручает такая картина.
Dmitry aka Sensor
edogs, Phil Kulin,

Спасибо большое! Буду думать в направлении оптимизации.

edogs, да wget я запускаю на удалённой! не веришь? хочешь землю есть буду?! smile.gif
Phil Kulin, очень надеюсь побывать на Оленьем в начале августа.