Имею небольшой сайт (см. профиль) - чуть больше 100 страничек плюс форум на PHPBB около 5000 сообщений на сейчас. PHP5+MySQL. Сейчас размещен на виртуальном хостинге. Посещаемость - 100 человек в день, понемножку растет. Плачу 10уе/месяц.

Проблемы:
1. Хостер периодически матерится из-за превышения проц. мощности в 5% (Вызываемого как правило набегами Яндекса на форум). Требует перехода на 20-долларовый тариф.
2. Форум периодически заметно подтормаживает, провайдер разводит руками.

Поможет ли переход на VPS и какие нужны примерно характеристики для плавной поддержки всего этого? Или может есть другие варианты?

Хм... Может проще запретить поисковикам индексацию форума и остаться на нынешнем тарифе? Как вариант - оптимизировать ручками движок, включить кэширование шаблона. Ну или поискать хостера с мускулом пошустрее. Движок форума не требует безумных ресурсов при такой низкой посещаемости, если все оптимизоровать.

Отключать поисковиков не хочется - с Яндекса половина посетителей идет.
Движок тоже тяжко оптимизировать - форум стандартный, периодически обновляется.

Добавил Вашему хостеру проблем - повысил посещаемость своим заходом на сайт .

Странно всё это, и хостер не самый плохой (как мне казалось) и сайт с форумом намного меньше, чем был в свое время ХостОбзор на таком же 10$-ом тарифе у другого хостера. Но никогда мой хостер не ругался за перегрузку даже при большей посещаемости того же phpBB, чем у Вас. Я phpBB никак не оптимизировал тогда, как и Вы пользовался стандартной поставкой. И поисковики не блокировал.

Есть над чем подумать. И Вам, и нам, и хостерам. Переход на VDS не рекомендую, при прочих равных условиях, ресурсов может оказаться меньше, чем на шаред-хостинге. Если переход на VDS рекомендует Ваш хостер, лучше сменить хостера. 10$ - красная цена за высокий уровень обслуживания Вашего проекта на виртуальном сервере (шаред).

Попросите хостера показать чем именно грузит Ваш сайт сервер на 5% мощности. Если это запросы в базу - пусть покажет какие. Если просто скрипт - пусть покажет какой именно. Надо учесть, что кроме стандартного форума, у Вас вероятно стоит какой-то движок, судя по сайту, возможно проблемы создает что-то в нём. Если к форуму ставили дополнительные "навороты" возможно проблемы вызваны этим. Посещаемость 100 человек в день не кажется нам критичной.

Спасибо за поддержку, я в общем тоже несильно горю желанием платить 20уе за 1-2 тысячи хитов в сутки. (не считая роботов).
Что касается перегрузки - просто провайдер считает загрузку ежечасно, и если за три дня набирается больше 1 вылета за 5% зону - то присылает письмо "Немедленно меняйте тариф". При этом если Яндексу приходит в голову обновить пару тысяч топиков, то это пару-тройку часов по 700 запросов в час, что и составляет обычно 6-7 процентов. Не говоря уже о том, что на следующую ночь он опять может прийти. Пока отбивался, но думаю все же нервы себе дороже...
Ну это еще бы полбеды, но тормоза продолжаются... Вот страница статистики загрузок страниц:
http://sammy.ru/stat.php... 70 секунд на полу-секундную страничку - это слишком. И хостер разводит руками - "А мы типа не умеем пятую MySQL админить...."
В общем, буду наверно менять хостера.

Нагрузку я уже писал выше - как правило Яндекс, сканирующий форум, хотя бывают и другие поисковики. Способ расчета нагрузки писал выше.
Движок у меня действительно свой, но страниц мало, а страницы я большей частью даже кеширую, так что проблема однозначно с форумом. Форум стандартный PHPBB + пара несложных модов.

Нагрузку создает не яндекс. Простите за занудство, но нагрузку создает скрипт, запросы в базу, но никак не яндекс.
Вот например пример сообщения о нагрузке (украли с другого сайта реальный пример, надеемся никто не в обиде) который мы имели ввиду

Всё четко. Виден запрос. Видно сколько выполнялся. Можно даже подогадываться почему выполнялся долго. *** заменили не существенное.
Имхо, Вы слишком однозначны. Такие же форумы выживают при >1к посетителей и при неотключенных поисковиках. Мы бы думали на нестандартные добавления к форуму или хостера. Что касается количества страниц у Вас в движке, честно говоря, мы не считаем что в этом дело. Ни в коем случае не пытаемся ничего утверждать, но всего 1 запрос в базу данных, например, может создавать нагрузку, которую не создаст и 1000 страниц. Может быть где-то опечатка, может еще что-то. Поэтому и советуем узнать более точные данные у хостера о причинах нагрузки, что бы на следующем хостере ситуация не повторилась, а ведь есть хостеры менее терпимые.

edogs

Форум стандартный. PHPBB. Проект достаточно крупный, чтобы там были люди, значительно лучше разбирающиеся в PHP+MySQL чем я и значительно лучше понимающие структуру форума. Наверно, если бы добавление пары индексов ускоряло форум в 10 раз, эти индексы давно бы добавили...
Моды также одобренные создателями проекта - аттачменты и пару совсем мелких, не имеющих отношения к БД. Одни из самых распространенных, надо отметить. Поверьте, запросов, работающих минутами, там нет.
Как я уже говорил, на данный момент без роботов я имею 1к хитов в среднем в сутки, то есть 40 страниц в час. Приходит Яндекс и устраивает лавину в 500-800 запросов в час, превышая нормальный фон в 10-20 раз. Причем каждая страница - несколько запросов к БД и довольно сложная их обработка. Влезать в движок нормально работающего на тысячах сайтов форума и тратить уйму времени на его оптимизацию у меня, увы, нет ни желания, ни, я боюсь, достаточной квалификации (Собственно, с PHP+MySQL я работаю чуть меньше года, в основном весьма вскользь)

Точные данные, конечно, попросить было бы неплохо, но, по моей оценке хостера, они вряд ли мне предоставят такие данные. Если бы у них что-то подобное было, они бы наверно упомянули бы это хоть в одном разговоре... А учитывая их последнее заявление, что с MySQL 5 они еще не умеют заниматься разборками+оптимизацией, мое подозрение почти перерастает в уверенность. Впрочем, я спрошу... Вдруг все же ошибся?

У меня к вам просьба - если есть хоть какие-то оценки количества хитов/процессорную нагрузку форума, покажите, пожалуйста... Хотя бы для сравнения...

Уточни у хостера у него стоит еще PHP4 вместе с PHP5 и как они настроены, т.е. кто из них модуль, а кто через cgi работает, либо другие варианты.


Что именно создает нагрузку MYSQL или PHP.

Нужно конкретику.

На счет VPS ...

Как Петр сказал, не советую тебе, возможно будет еще хуже.

Как Вариант только выделенный сервер, но думаю тебе будет не поденьгам.
Но это уже другая тема.

Лучше всего оставаться на хостинге, но нужно уточнить проблему... Без название болезни не узнаешь, какое лекарство тебе нужно выпить

Вы, возможно, нас не так поняли. Мы выше, как раз и сказали, что "мы бы думали на нестандартные добавления к форуму или хостера" или даже на движок сайта, но не на сам форум.
Кстати, phpbb-шный форум очень неплохо поддается оптимизации по скорости, если не ошибаемся, эта тема затрагивалась на dklab.ru где-то, правда инструкций how to там не было, так что если только из любопытства.
Если мы не ошибаемся, им надо включить лог slow queries в mysql, это покажет конкретику по претензиям к запросам в БД. Не знаем насколько они в Вас заинтересованы, что бы это сделать. С другой стороны, раз Вы уже имеете год опыта в программировании, можем посоветовать дописать свой собственный измеритель скорости запросов и лог самых долгих, просто в сами скрипты. Это в любом случае будет не бесполезно, даже если будете переезжать.
Показать наглядно не сможем, но если говорить в общих словах. Мы не видели перед глазами примеров, когда хостеры имели претензии по нагрузке к phpbb на обычном хостинге при хитах меньше 20К в сутки, и не видели ни одного примера где phpbb выдерживал бы более 50К хитов в сутки, это средние цифры за сутки. Считаем что у нас достаточно было перед глазами примеров, что бы мы верили в эти цифры. %% макс нагрузки в среднем у хостеров одинаковые, от 3 до 7, поэтому вот. При чем вышесказанное безусловно подразумевает, что никто не "отключал" яндекс.

Из советов "по ходу" дела кроме вышесказанного. Может немного помочь отключение gzip в форуме (в админке посмотрите). Посмотрите так же какие страницы яндекс "кушает" у Вас, не выносится ли случаем ID сессии в строку адреса, если выносится, то это может быть причиной его абнормальной жадности. Допишите ручной "лог" длины запросов в БД, и для своего сайта и для своего форума, воообще для всего что работает с базой, посмотрите где окажется узкое место, да и вообще будет интересно наверное.

Эту фразу хотелось бы уточнить, т.к. звучит слишком категорично, но не всегда она справедлива.

VDS при прочих равных условиях в целом дороже такого же плана на шаред-хостинге. Простой переход на VDS ставит Вас в жесткие рамки лимитов по ресурсам, тогда как на шареде Вы в пики нагрузки на своем проекте можете использовать все свободные ресурсы сервера. Сколько их, этих свободных ресурсов зависит как от ресурсоемкости соседних проектов, так и от жадности хостера, который может натолкать на сервер даже слабеньких проектов столько, что каждый из них будет озадачивать систему перегрузкой. Верить хостеру или нет, что именно Ваш проект приводит к этой перегрузке, дело Ваше. Как уже неоднократно говорили выше, порядочные хостеры в подобном случае высылают клиенту подробный отчет с конкретной информацией для принятия мер. Не очень порядочные рекомендуют перейти на VDS. Но Вы должны понимать, что этот совет продиктован не столько заботой о Вас, сколько о Ваших соседях (точнее, о себе любимом). Если действительно Ваш проект подсаживает сервер, хостеру будет просто спокойнее, если он будет изолирован от других, самому же проекту лучше от этого не станет, если действительно там у Вас есть проблемные места в скриптах.

Из переписки с хостером:

- Скажите, а реально ли получить "детализацию" процессорной нагрузки - скажем, страницы, занявшие большую часть процессорной нагрузки, или запросы MySQL, выполнявшиеся дольше всего? Чтобы можно было попробовать оптимизировать как-то процесс? И еще вопрос - каким методом считается "Процессорная нагрузка"?

- Нет, детализацию получить нельзя (учет до деталей создал бы большую нагрузку на сервер). Замер производится таким методом - производится замер процессорного времени потока до и после исполнения запроса на Apache, затем если время превышает 30ms, оно записывается в файл. Время по часам суммируется, делится на длительность часа - получаются проценты.

В общем, насколько я понял, процессорная нагрузка у них прямо пропорциональна занятости сервера. Если сервер занят бекапом или чем-то подобным, нагрузка будет сильно выше. При этом кто создал нагрузку - PHP или MySQL не разберешь.


Возможно, просто у вас считается среднесуточная нагрузка? А у моего хостера - среднечасовая.


То есть? Падает? На шаред-хостинге или вообще? Какая альтернатива?


Я уже запретил в robots.txt индексирование viewtopic?p= (Вызов страницы по номеру сообщения, а не по номеру топика), стало лучше, дней 10 не было скачков - впрочем, может Яндекс устроил перерыв, кто его знает... Вчера вот снова было превышение, пока однократное. Номера сессий в строке есть, но даже если их оттуда убрать, мало что изменится. Вот посмотрите:



7 запросов вместо двух (Две страницы)
Впрочем, robots.txt не настолько гибкий, чтобы вырезать лишние запросы, т.к. они все выглядят по разному... Жаль там нельзя регулярные выражения задавать.... Надо же было сделать настолько ограниченный стандарт!

Мы в этом смысле говорим не об одном хостере. Как именно считались %%, честно говоря не знаем просто.Конечно, речь про шаред хостинг. Нет, не падает, просто если больше 50к хитов, то хостер начинает гнать, или говорит про превышение %%, или включает ограничение на количество запросов в час, или ещё что-нибудь.Номера сессий в строке для поисковиков это очень плохо в любом случае., даже для поисковиков. Во первых, Вы по сути дублируете контент один и тот же по разным адресам, это и по логике неправильно, и поисковиками по правилам вообще-то не одобряется. Во вторых, одну и ту же страницу (по смыслу), поисковик будет индексировать несколько раз (ибо адрес будет разный), и соответственно будет делать лишние и ненужные запросы к Вашему сайту. Тот пример что Вы привели, он немного урезанный, для полной картины надо вытащить логи допустим за месяц, и посмотреть сколько раз одну и ту же страницу дергал яндекс с разными sid, лично у нас были числа вплоть до 50...
Мы "лишние" обращения у себя в скриптах вырезали достаточно забавно, просто проверяли - если зашел яндекс, и на "неверную" страницу, то или выкидываем ему 404, либо 301 либо 302. Способ еще до конца не проверенный, но по логике вещей (и ответам яндекса) может иметь положительный эффект.

В общем, судя по вашим словам, пора мне менять хостинг...


Да, это-то понятно. Просто не хочется лезть в форум и править все GET на POST. Боюсь их там ну очень много, а совместимости это не добавит...


О! Хорошая мысль, мне как-то в голову не пришла. Разборку на уровне mod_rewrite делали?
А Яндекс не сочтет это незаконной операцией? Ведь с любого другого адреса эти страницы будет видно?

Насколько понимаю, Яндекс не будет возражать против сокрытие от роботов некоторых адресов, скрывают даже части текста внутри документа, для чего используется обычный <noindex> - кстати, тот же robots.txt предназначен для сокрытия разделов сайта от паоисковиков, и не обязательно служебных разделов

Другое дело, что поисковики, и в первую очередь Яндекс, применяют санкции к тем, кто наоборот, делает тексты, доступные для робота, невидимыми человеку - те наказываются случаи, когда тексты делаются не для посетителей, а для роботов - а не наоборот

Но я бы, на Вашем месте, задал бы такой вопрос и на форуме оптимизаторов в разделе Яндекс
http://forum.searchengines.ru/forumdisplay.php?f=10

Это не совсем так. Можно настроить VDS так, что на пики нагрузки сервер будет отдавать ресурсы, если они конечно свободны. В этом плане VDS не особо отличается от виртуального хостинга

Нет, мы как раз советуем Вам попытаться найти причину, а потом уже делать выводы о необходимости менять хостинг.
Мы в основном говорили о дублях от sid в строке адреса. GET и POST на это не влияет.
Нет, прямо в php scripte.

Задавали вопрос тут http://forum.searchengines.ru/showthread.php?t=32264 , так же осмелились написать в суппорт яндекса, и получили ответ, смысл которого восприняли следующим образом. Для удаления страниц 404, для избавления от дублей - на дубле выдавать 301 на "оригинал". И главное что было сказано - дубли в любом виде это плохо, хотя был еще добавлено, что вообще не видят смысла в необходимости дублей даже для пользователя
По поводу незаконности. Опять же по мотивам поисковых форумов и правил, восприняли их так. Подделка контента страницы (то есть допустим выдача страницы БЕЗ ссылок которые ведут на дубли) для поисковика это плохо. Выдача страниц только поисковику - плохо. Прятать страницы от поисковика, особенно дубли - хорошо и правильно.

Сейчас выкопали переписку с яндекс.суппорт. Выкладывать не будем, естественно, но суть перескажем.
Дублей надо избегать. Можно и нужно реализовывать через 404 ошибку, хотя допустимо и 301 и 302. Ссылки на страницы 404 учитываются, так как тиц и иц получает домен.
Но нам еще был интересен и гугл, который, как мы поняли, 404 не любит. Поэтому 301 и 302 тоже считаем вариантом.

? "Можно настроить" или "обычно настроен по умолчанию"? Кем может быть настроен? Клиентом или хостером?

Можно настроить. "Обычно настроен по умолчанию" - это бывает только в Windows
Настроен может быть естественно хостером.

И как ее искать? Логи операций (Кроме апачевских) хостер не дает. Если бы сайт постоянно был тормознутым, было бы понятно. А так он часть времени летает, часть ползает, часть почти стоит. Форум как я уже говорил, стандартный, расширения его тоже. Ничего написанного мною там нет.

А, ну да. Я все торможу - мы же в терминах поисковика живем. Впрочем это ничего не меняет. Убрать SIDы - пострадают люди с отключенными куками, так ведь? А вырезать сиды для варианта Log off user - надо сначала покопаться в движке и подумать не угробит ли это чего.... Я подозреваю это сильно увеличит таблицу сессий и здорово подпортит статистику числа людей на форуме.


Спасибо за информацию, буду запрещать всякие Next, Prev и прочие дурости поисковикам...

Допишите свой логгер. Это не так сложно и пригодится и на будущее. Пропускайте все запросы в базу через измеритель времени, а победителей записывайте в файл.
Для пользователей можете оставить как есть. Вам надо убрать sid-ы только для анонимов, или вообще только для яндексов всяких (благо они представляются в http_user_agent). Кстати, это Вам пожалуй на форум по суппорту phpbb, phpbb вполне способен адекватно "общаться" с поисковиками, тут скорее дело в настройках форума/хостинга нежели глобальная проблема. Да и честно говоря, пользователи с отключенными куками - имхо - достаточно редкая вещь.

Дописывать логгер на каждый запрос к MySQL это еще нагрузка на сервер, плюс надо лезть в исходники форума, а мне это не шибко хочется. Зато нашел несколько модов для форума, убирающих SID, делающих статические адреса и много чего еще. Так что буду думать.

Кстати, еще показатель - раньше все было ок, тормоза начались буквально месяц назад.

А заодно еще решил попробовать другой хостинг - hosting.rbc.ru. Вдруг там не жизнь, а сыр в масле

как то примерно в течение недели наверное были проблемы с яндексом. настолько суровые что приходилось просто блочить его ай-пи. был выявлен сайт на котором это происходило. после указания клиенту, он у себя что то там наковырял и более ничего подобного не происходило. подозреваю что и у вас что то подобное происходит. поисковик цепляется за какие то запросы и начинает то ли неверно индексировать, то ли слишком глубоко лезть, то ли индексировать буквально все. в результате получается тоже самое что и с дорвеями на 20-50 тысяч страниц - нагрузка резко возрастает, поскольку вместо того чтобы посетить страницу и свалить, поисковик проверяет каждый пост. а теперь прикиньте во что это выльется если таких запросов будет по числу постов на форуме? да если еще их по несколько раз каждый...

Нагрузка увеличиться минимально, не знаем насколько это правомерно тут сравнивать, но лично у нас работа логгера увеличивает время генерации страницы на количество времени в пределах погрешности измерения То что не хочется понимаем - но результат того будет стоить.
А может и не будет стоить У яндекса/гугла бывают "бзики", как нападет - прямо и не знаешь что делать
Интересно, а Вы уверены что это яндекс? По IP определяли?
А то может какой-нибудь weboffline-browser представляющийся в юзерагенте яндексом Вас скачивает.

IP проверил - sfront39.yandex.ru (213.180.216.11).
Ладно, давайте считать с другой стороны. В часе 3600 секунд. Яндекс делает ко мне около 600 запросов в час, сервер считает что это 5% занятости. То есть теоретически имеем 20*600=12000 страниц в час, т.е. 4 страницы в секунду, т.е. 0.25 секунды на страницу (С кучей SQL-запросов каждая, я полагаю). При этом обычно это происходит ночью, когда хостер имеет дурную привычку запускать бекапы и т.п.. Есть смысл пытаться улучшить это время? Это сильно много для формирования страницы PHPBB?

В Вашей ситуации, мы бы посмотрели как на проблему в первую очередь на
1) ID сессии в адресной строке, ибо это вполне может стимулировать абнормальный интерес яндекса. То что Вы будете блочить, допустим, страницы с этим адресом (а как Вы кстати будете отличать повторный заход на страницу, если будете ориентироватсья только на наличие sid-а?) - это конечно не плохо, но если ID сессии в адресной строке для поисковиков не прибить, то они всё равно будут пытаться вызывать дубли, что само по себе ни к чему.
2) То что дописывали Вы к сайту (цмс и т.д.). Заранее извиняемся за предположение, что проблема может быть тут, но уровень Ваш неизвестен, так что без обид. На дополнительные моды к пхпбб (когда их "одобряют" пхпбб-шники - они редко смотрят на нагрузку). Ибо даже 30 запросов, более или менее грамотно написанных, могут не создать такой же проблемы, как 1 запрос написанные не грамотно.
Классический пример ошибки дающей жуткую нагрузку - для подсчета количества записей сделать mysql_query(select * from... и потом mysql_numrows

0.25 для цмс и форумов это не плохое время, с нашей точки зрения. Мы вообще считаем, что время до 0.5 секунды в принципе норма. Но тут не столько во времени дело, вот в чем проблема. Страница генерящаяся за секунду не факт что создаст нагрузку выше чем страница генерящаяся за полсекунды. И последовательно резать день на секунды нельзя, ибо сервер будет генерить страницы одновременно, да и заниматься не только Вами
Мы всё-таки считаем, и ещё раз повторим. Что А) надо не показывать яндексам sid-ы в адресной строке Б) надо дописать лог запросов в БД со временем их выполнения и посмотреть топовые результаты ну и учитывая последний момент и п.Б - заодно и увидите время генерации и количество запросов.

Да, SID я в ближайшее время постараюсь убрать.
По поводу лога - а как я отличу запрос, тормозящий из-за кривизны рук от запроса, тормозящего из-за перегрузки (Неверной конфигурации, ...) SQL-сервера?
Кстати, логить надо только открытие/выполнение? Или фетчи тоже?

Логить только скорость выполнения mysql_query - самого запроса. В пхпбб это достаточно просто - там все запросы через класс прогоняются - в класс просто пара строк для лога дописываете и всё. Свою цмс не забудьте тоже логами снабдить.
А отличить - топовые по времени запросы покажите на любом программерском форуме - помогут/подскажут. Могут ли запросы тормозить от конфигурации sql сервера - честно говоря просто не знаем. Но в любом случае - будет информация - сможете задать конкретные вопросы, сделать выводы - подсказать Вам смогут больше.

До лога MySQL пока не добрался, зато добрался до среднего времени доступа.

Это среднее время загрузки одного и того же набора данных (Три странички), деленное на три. Среднее время секунда плюс среднее отклонение (Корень из дисперсии) 2.5 - это при равномерном распределении времени от -4 до 6 секунд. Ну отрицательных не бывает - значит в положительную сторону пик больше. Пр том что минимум времени везде 0.3 сек.

Купил месяц хостинга rbc.ru, поднял копию своего сайта - три дня стабильно выдавал среднее время 0.3 с отклонением 0.2 - ну прямо идеал. Все летало! Но потом буквально за пять дней среднее подскочило до 2 секунд, вместе с отклонением. При этом провайдеру похоже на это глубоко наплевать.


Отсюда мысли вслух - при переходе на нового провайдера всегда попадаешь на частично заполненный сервер, у которого естественно быстродействие гораздо лучше нормы. Как избежать этой ошибки при выборе?

переходить к провайдеру у которого серверы не заполнены и НЕ БУДУТ заполнены. простой расчет показывает что для этого тариф должен будет стоить дороже себестоимости (300-600 у.е. комплексная стоимость сервера / 25-50 клиентских аккаунтов = 6-12 у.е.) примерно на 50% Если сервисы разнесены на отдельные серверы то добавьте еще денег. Это конечно не гарантия, но основание для примерного подсчета.

25-50??? На своем сервере RBC я насчитал 1500 каталогов в /www. Даже если только треть от них - реальные аккаунты, получается 500.

То есть по вашему если найти провайдера не за 10уе, а за 15-20, то это и будет то, что нужно?

P.S. Знаете хоть одного такого?

Это только необходимое условие, но не достаточное.

Посмотрите в сторону так называемого VIP-хостинга, (в идеале - DDS). Естественно, предложение должно исходить от компании, которая Вас ничем не настораживает.

Посмотрел. Дешевле 50-70 не нашел ничего разумного на первый взгляд. DDS же по-моему вообще с 100уе начинается? Дороговато для небольшого проекта.

Извините за дурацкий совет, просто подзабыл Ваш сайт, повелся на расчеты rustelekom .
Как я писал раньше, ИМНО, красная цена за беспроблемную работу проекта такой ресурсоемкости - $10.

rustelekom, взгляните: http://sammy.ru. Думается, что Ваши 25-50 такой же перебор, как и полторы тысячи у РБК.

Из переписки с RBC:

Что-то мне очень сомнительно, что за неделю у них появилось 500 клиентов. Видимо, они решили раз так сервер здорово работает - надо бы туда добавить "немножко" нагрузки. И слегка переборщили.

Об этом и речь. Если аренда выделенного сервера 100уе, то неужто никто не делает вирт. хостинга хотя бы по 50-100 аккаунтов на сервер? Жадность обуяла?

Имно, да. Странно, что находясь на форуме и принимая участие в других темах, Ваш хостер обходит вниманием эту.

1. Сервера по 100$ обычно используются не для хостинга, а под индивидуальные проекты.
2. Аренда сервера даже за 99$ после оплаты бэкапа, дополнительных IP, панельки, администрирования (в виде зарплаты или оплаты аутсорсинга), накладных расходов и прочего - уходит весьма далеко от первоначальной цифры в 99$... Озвученные rustelekom цифры реальной стоимости сервера минимальны, для небольших компаний они еще выше, рынок хостинга в его нынешнем виде практически убыточен и бесперспективен, обвинять хостеров в жадности не стоит.
3. У нас в настояций момент на 3 серверах чуть больше 100 клиентов, среди них только 1 более ли менее крупный, но это не гарантирует, что всё и всегда работает абсолютно быстро и на 100% стабильно. Бывают разные клиенты с разными скриптами...

Если вы про РБК, то я у них взял месяц хостинга для теста и сейчас склоняюсь к тому, что это будет единственный месяц хостинга у них. Дозвониться до них сложно (По крайней мере я не смог), а на письма отвечают обычно на следующий день или через день, при этом обычно на вопрос дается весьма пространный ответ, обычно не имеющий отношения к вопросу (Может робот отвечает?). Например, на вопрос "Почему тормозит сервер" ответ "А, да, мы там вчера добавили несколько аккаунтов. Все в порядке, типа." Вчера вообще Апач упал и три часа лежал. На том самом сервере, куда еще 500 клиентов добавили. Оперативность прямо впечатляет.

А 1Gb.ru, на котором сейчас мой сайт, в плане техподдержки гораздо веселее - и дозвониться до них можно, и отвечают почти сразу, но зато часто разводят руками - "Извините, с этой версией MySQL мы плохо знакомы, поэтому не знаем почему она тормозит и падает. А протокол IMAP вообще гадость, еще не настроен и поэтому дико тормозит - пользуйтесь POP3". Ну и т.п. В общем неплохой провайдер для не особо требовательных клиентов. К сожалению я требовательный (Наверно)

А если дополнительный IP не нужен, бекап на уровне вирт. хостинга (Который стоит копейки), а конфигурация стандартная и почти ничего править не нужно? Впрочем спорить не буду, не имел пока возможности все это оценить.

По поводу "Абсолютно быстро" - вот это лог тестовых загрузок с РБК. Неделю назад во всех трех колонках стояли стабильные 0.2-0.4, сайт не менялся, про него никто не знает. По вашему такие времена - это норма? Естественно, это время загрузки HTML без картинок и вдобавок из локальной сети провайдера.


Пример взят прямо сейчас, посмотреть в реал-тайм можно здесь: http://sammy.lgg.ru/stat.php

Admin
P.S. Кстати, хостинг на РБК мне обошелся в 15уе с объемом диска 600Мб. Так что действительно, условие "Не достаточное".

Дополнительный IP нужен хотя бы для доменов в зоне RU. Многие датацентры имеют моду продавать их пачками, а не поодному. От 5$/сервер и выше.
Бэкап в любом случае нужен, шаред хостинг не даёт права рисковать данными клиента. Удалённый бэкап обходится минимум 40$/сервер.
Даже если править ничего не нужно - админ серверу нужен всегда. Только самоубийца может отдать всё в руки судьбы. Или хостер-школьник. Итого - в среднем 50$/сервер.
Накладные расходы включают телефон, рекламу, аренду офиса ! Налоги забыли!!
И где теперь Ваши сервера по 99$?
А Вы говорите - жадность...

P.S. Собаки на сайте - прелесть. Сам собачник (немецкая овчарка).

знаю, но не скажу ну и потом чисто за счет расстояния, показатели времени загрузки могут быть большими (хотя и будут стабильными)


PS. потянет хозяйство. 25 -50 это ж условно, надо еще смотреть что за аккаунты на сервере а то там может быть и один, но такой который скушает весь сервер. нет, речь идет об обычных клиентах - без заморочек, просто за счет многократного запаса у них жизнь выходит куда легче. но, запас это конечно надо оплачивать.

Всё же по моему приводить более точные наши ответы , а то может создасться странное впечатление, хотя по сути вы, в принципе, правы, надежность работы mySQL5/InnoDB не может пока считаться удовлетворительной, хотя после последнего обновления "падать" она скорее всего перестала (пока недостаточно времени прошло для теста, но так оно похоже).

Хочется заметить, что, безусловно, требовательным клиентам нужен виртуальный выделенный сервер. От крупной компании вы не добьетесь того, что над вашей личной проблемой положит день рабочего времени ведущий технический специалист. Особенно если с высокой вероятностью проблема вообще не решается и существуют кучи обходных путей (они были вам предложены).
Тут просто простое правило - не мешайте себе сами работать, раньше начнете пользоваться VPS, раньше освоитесь, больше будет времени для нейтрализации собственных граблей, которых много предстоит, но по краней мере требовательность ваша будет вознаграждена возможностью всё сделать так, как вам хочется.

По существу, а именно, по скорости вашего приложения - вам весьма точно сказали про $20 - $30 в месяц как приемлемая цена для быстрой работы вашего сайта.



Говоря коротко, от виртуального хостинга вы просто хотите невозможного.
Чтобы зафиксировать показатели вашего теста на приемлемом для вас уровне, нужен _выделенный_ сервер, по ряду признаков, не имеющих отношения даже к средней нагрузке сервера, числа сайтов и т.д, как то, например, отсутствие вашей БД и сайта в дисковом кеше и так далее по множеству пунктов.

По поводу ответов постараюсь Просто приводить всю переписку как-то неудобно, я постарался сократить ее до одной строчки. Если получилось плохо - прошу прощения.
Если он (mySQL5) неустойчив/непрогнозируем, то может стоит написать это на страничке создания базы? Впрочем, это так, к слову, на будущее.

По поводу требовательности - собственно я и мучаюсь проблемой почему VDS стоит 20-30 уе и их на компьютер скажем 50, а виртуальный хостинг стоит 10уе и их на компьютер не 100-200, а 1000 (Как в случае с РБК). Как-то суммы мягко говоря не эквивалентны. Неужели обслуживание сервера VDS в 10 раз дешевле для провайдера, чем сервера с вирт. хостингом? Боюсь, что единственный способ проверить все же подойдет или нет - купить и попробовать. Чем я и занимаюсь понемножку.
Кстати, и тему я поднял в основном не из-за скорости, а из-за ваших периодических требований сменить тариф.

P.S. кстати, у вас планируется появление VDS?

Ну, как я уже говорил, эту проблему мы всё же настроены решить, хотя безусловен тот факт, что mySQL в режиме InnoDB у всех хостинг-провайдеров вызывает большой скепсис, и в общем у пользователей на самом деле тоже, это по статистике использования технологий видно, поэтому что есть, то есть.




Отвечу коротко и не в тему: на таком VDS у вас сайт тоже тормозить будет. Но по крайней мере вопросами "почему виснет" и "где работающий IMAP" вы будете мучаться сами.
Я вот именно это хотел сказать.


Когда появится Unix хостинг, это с очень высокой вероятностью будет VDS/VPS. На Windows (как сейчас) - нет.

все правильно - на вдсе вы будете мучаться сами, если только не возьмете его в манагед варианте (но это очен неполный манагед, а если говорить оп олном манагеде - то есть отдал и забыл то это будет стоить дороже выделенного сервера). кроме того, у вдса при прочих равных условиях с обычным шаред хостингом много минусов - как правило он несколько "тормознутее". поэтому уходить на вдс чтобы "стало быстрее" я бы не стал.
PS. про соотношения на виртуальном хостинге. расклад цен для малого и среднего хостера и для большого хостера разный - потому скажем так, с одной грядки (читай сервера) одному нужно заработать 50-100 баксов, а другому - 500-1000 если не больше, отсюда и разница в наполнении серверов. почему нужно? ну скажем кратко - далеко не только из за жадности...

Я может и рад помучиться - сам работаю в очень близкой области.
По поводу скорости ВДС - быстрее может и не станет, но по крайней мере мне не будут грозить отключением ресурса за набеги Яндекса. Разве нет?
Вообще бывает вирт. хостинг, который ограничивает нагрузку сам, а не грозит отключением за локальные пики?

Ну вы поймите, вот допустим Яндекс делает запросы, ваш сервер не успевает их обрабатывать в регламентные сроки (около 10 секунд для него), т.к. у вас наступило ресурсное ограничение. И вы точно так же по ряду страниц вылетаете из каталогов.
Ии виртуальный хостинг, что может предпринять сервер? Допустим вы уже наработали свою норму если усреднять, скажем, за час, т.е. вышло допустим 6 процессорных минут (нагрузка 10%), а идет только 40-я минута часа.
Для поддержания лимита можно только отклонять следующие запросы, 20 минут сайт висит. Робот индексирует пустоту.

Не существует способа плавной регулировки без вашего собственного участия, который не приводил бы просто к отказу в обслуживании. А ваше собственное участие равновероятно и на виртуальном хостинге, и на VDS, и устроено будет одинаково.

Есть. Например можно настроить ограничение в 5 коннектов с одного IP и тогда яндекс не повалит сервер. Можно и иначе делать...

Есть еще Yahoo. Его боты умудряются ходить одновременно с десятка разных IP.
Лично у себя наблюдал да 7-10 ботов одновременно на сайтах всего в 20-25К страниц....

Ну вариантов возможных улучшений ситуации (конкретно у вас) я лично вижу достаточно много.

• Часть хостеров делает более демократично, не фиксируя забор ресурсов из свободных (Т.е. если мой скрипт съел 80% процессора при том, что 20 оставшихся не загружены, то это не превышение) Что уже уменьшает количество проблем.
• Ваш способ замера времени Tконца_скрипта - Tначала_скрипта имеет мало отношения к реально использованному мной проц. времени. Если мой скрипт ждет файл, а диск занят бекапом трех других сайтов, то время тикает? Хотя процессор не используется ни на йоту. То есть просуммировав время по всем скриптам, вы с удивлением обнаружите, что .. процессор работал 33 часа в сутки
• Тех же стандартных форумов не так много, а далеко не все ваши клиенты спецы в области поисковых систем. Наверно несложно сделать набор рекомендаций по стандартным скриптам - а так я месяц только доходил до сути проблемы и еще неделю потом искал адекватные способы решения. Это камешек в огород вашей техподдержки. Вы ведь даже предлагаете сами установить этот форум вашим клиентам. И при этом ваши спецы не дают даже простейших рекомендаций из разряда Disallow: /viewtopic.php?p=. Не говоря уже о наличии "SE-friendly MOD" для форума, что я тоже узнал случайно. То же самое касается информации о поисковых системах вообще. Один ваш сотрудник на форуме отвечает на мое предложение добавить 10-секундную задержку к скрипту "Да, это правильный способ", через два дня другой сотрудник в разговоре сообщает что такая мера с вероятностью 99% убьет индексирование моего сайта. Сделайте коротенький FAQ на тему форумов и поисковиков - и десятки ваших клиентов будут вам благодарны за предупреждение и возможные способы решения.
• При том количестве сайтов, что есть в интернете, вероятность, что Яндекс займется вплотную сразу 10 сайтами с одного сервера я так понимаю близка к 0. Соответственно, почему бы просто не сделать клиентам скидку на разовые посещения Яндексом? Ну удвоится нагрузка одного-двух клиентов на час-другой. Неужели фатально? Проверить по логу это элементарно. А так при посещаемости 100 человек в сутки вы мне предлагаете тариф за 20уе. исключительно из-за яндекса.