Имею небольшой сайт (см. профиль) - чуть больше 100 страничек плюс форум на PHPBB около 5000 сообщений на сейчас. PHP5+MySQL. Сейчас размещен на виртуальном хостинге. Посещаемость - 100 человек в день, понемножку растет. Плачу 10уе/месяц.

Проблемы:
1. Хостер периодически матерится из-за превышения проц. мощности в 5% (Вызываемого как правило набегами Яндекса на форум). Требует перехода на 20-долларовый тариф.
2. Форум периодически заметно подтормаживает, провайдер разводит руками.

Поможет ли переход на VPS и какие нужны примерно характеристики для плавной поддержки всего этого? Или может есть другие варианты?

Хм... Может проще запретить поисковикам индексацию форума и остаться на нынешнем тарифе? Как вариант - оптимизировать ручками движок, включить кэширование шаблона. Ну или поискать хостера с мускулом пошустрее. Движок форума не требует безумных ресурсов при такой низкой посещаемости, если все оптимизоровать.

Отключать поисковиков не хочется - с Яндекса половина посетителей идет.
Движок тоже тяжко оптимизировать - форум стандартный, периодически обновляется.

Добавил Вашему хостеру проблем - повысил посещаемость своим заходом на сайт .

Странно всё это, и хостер не самый плохой (как мне казалось) и сайт с форумом намного меньше, чем был в свое время ХостОбзор на таком же 10$-ом тарифе у другого хостера. Но никогда мой хостер не ругался за перегрузку даже при большей посещаемости того же phpBB, чем у Вас. Я phpBB никак не оптимизировал тогда, как и Вы пользовался стандартной поставкой. И поисковики не блокировал.

Есть над чем подумать. И Вам, и нам, и хостерам. Переход на VDS не рекомендую, при прочих равных условиях, ресурсов может оказаться меньше, чем на шаред-хостинге. Если переход на VDS рекомендует Ваш хостер, лучше сменить хостера. 10$ - красная цена за высокий уровень обслуживания Вашего проекта на виртуальном сервере (шаред).

Попросите хостера показать чем именно грузит Ваш сайт сервер на 5% мощности. Если это запросы в базу - пусть покажет какие. Если просто скрипт - пусть покажет какой именно. Надо учесть, что кроме стандартного форума, у Вас вероятно стоит какой-то движок, судя по сайту, возможно проблемы создает что-то в нём. Если к форуму ставили дополнительные "навороты" возможно проблемы вызваны этим. Посещаемость 100 человек в день не кажется нам критичной.

Спасибо за поддержку, я в общем тоже несильно горю желанием платить 20уе за 1-2 тысячи хитов в сутки. (не считая роботов).
Что касается перегрузки - просто провайдер считает загрузку ежечасно, и если за три дня набирается больше 1 вылета за 5% зону - то присылает письмо "Немедленно меняйте тариф". При этом если Яндексу приходит в голову обновить пару тысяч топиков, то это пару-тройку часов по 700 запросов в час, что и составляет обычно 6-7 процентов. Не говоря уже о том, что на следующую ночь он опять может прийти. Пока отбивался, но думаю все же нервы себе дороже...
Ну это еще бы полбеды, но тормоза продолжаются... Вот страница статистики загрузок страниц:
http://sammy.ru/stat.php... 70 секунд на полу-секундную страничку - это слишком. И хостер разводит руками - "А мы типа не умеем пятую MySQL админить...."
В общем, буду наверно менять хостера.

Нагрузку я уже писал выше - как правило Яндекс, сканирующий форум, хотя бывают и другие поисковики. Способ расчета нагрузки писал выше.
Движок у меня действительно свой, но страниц мало, а страницы я большей частью даже кеширую, так что проблема однозначно с форумом. Форум стандартный PHPBB + пара несложных модов.

Нагрузку создает не яндекс. Простите за занудство, но нагрузку создает скрипт, запросы в базу, но никак не яндекс.
Вот например пример сообщения о нагрузке (украли с другого сайта реальный пример, надеемся никто не в обиде) который мы имели ввиду

Всё четко. Виден запрос. Видно сколько выполнялся. Можно даже подогадываться почему выполнялся долго. *** заменили не существенное.
Имхо, Вы слишком однозначны. Такие же форумы выживают при >1к посетителей и при неотключенных поисковиках. Мы бы думали на нестандартные добавления к форуму или хостера. Что касается количества страниц у Вас в движке, честно говоря, мы не считаем что в этом дело. Ни в коем случае не пытаемся ничего утверждать, но всего 1 запрос в базу данных, например, может создавать нагрузку, которую не создаст и 1000 страниц. Может быть где-то опечатка, может еще что-то. Поэтому и советуем узнать более точные данные у хостера о причинах нагрузки, что бы на следующем хостере ситуация не повторилась, а ведь есть хостеры менее терпимые.

edogs

Форум стандартный. PHPBB. Проект достаточно крупный, чтобы там были люди, значительно лучше разбирающиеся в PHP+MySQL чем я и значительно лучше понимающие структуру форума. Наверно, если бы добавление пары индексов ускоряло форум в 10 раз, эти индексы давно бы добавили...
Моды также одобренные создателями проекта - аттачменты и пару совсем мелких, не имеющих отношения к БД. Одни из самых распространенных, надо отметить. Поверьте, запросов, работающих минутами, там нет.
Как я уже говорил, на данный момент без роботов я имею 1к хитов в среднем в сутки, то есть 40 страниц в час. Приходит Яндекс и устраивает лавину в 500-800 запросов в час, превышая нормальный фон в 10-20 раз. Причем каждая страница - несколько запросов к БД и довольно сложная их обработка. Влезать в движок нормально работающего на тысячах сайтов форума и тратить уйму времени на его оптимизацию у меня, увы, нет ни желания, ни, я боюсь, достаточной квалификации (Собственно, с PHP+MySQL я работаю чуть меньше года, в основном весьма вскользь)

Точные данные, конечно, попросить было бы неплохо, но, по моей оценке хостера, они вряд ли мне предоставят такие данные. Если бы у них что-то подобное было, они бы наверно упомянули бы это хоть в одном разговоре... А учитывая их последнее заявление, что с MySQL 5 они еще не умеют заниматься разборками+оптимизацией, мое подозрение почти перерастает в уверенность. Впрочем, я спрошу... Вдруг все же ошибся?

У меня к вам просьба - если есть хоть какие-то оценки количества хитов/процессорную нагрузку форума, покажите, пожалуйста... Хотя бы для сравнения...

Уточни у хостера у него стоит еще PHP4 вместе с PHP5 и как они настроены, т.е. кто из них модуль, а кто через cgi работает, либо другие варианты.


Что именно создает нагрузку MYSQL или PHP.

Нужно конкретику.

На счет VPS ...

Как Петр сказал, не советую тебе, возможно будет еще хуже.

Как Вариант только выделенный сервер, но думаю тебе будет не поденьгам.
Но это уже другая тема.

Лучше всего оставаться на хостинге, но нужно уточнить проблему... Без название болезни не узнаешь, какое лекарство тебе нужно выпить

Вы, возможно, нас не так поняли. Мы выше, как раз и сказали, что "мы бы думали на нестандартные добавления к форуму или хостера" или даже на движок сайта, но не на сам форум.
Кстати, phpbb-шный форум очень неплохо поддается оптимизации по скорости, если не ошибаемся, эта тема затрагивалась на dklab.ru где-то, правда инструкций how to там не было, так что если только из любопытства.
Если мы не ошибаемся, им надо включить лог slow queries в mysql, это покажет конкретику по претензиям к запросам в БД. Не знаем насколько они в Вас заинтересованы, что бы это сделать. С другой стороны, раз Вы уже имеете год опыта в программировании, можем посоветовать дописать свой собственный измеритель скорости запросов и лог самых долгих, просто в сами скрипты. Это в любом случае будет не бесполезно, даже если будете переезжать.
Показать наглядно не сможем, но если говорить в общих словах. Мы не видели перед глазами примеров, когда хостеры имели претензии по нагрузке к phpbb на обычном хостинге при хитах меньше 20К в сутки, и не видели ни одного примера где phpbb выдерживал бы более 50К хитов в сутки, это средние цифры за сутки. Считаем что у нас достаточно было перед глазами примеров, что бы мы верили в эти цифры. %% макс нагрузки в среднем у хостеров одинаковые, от 3 до 7, поэтому вот. При чем вышесказанное безусловно подразумевает, что никто не "отключал" яндекс.

Из советов "по ходу" дела кроме вышесказанного. Может немного помочь отключение gzip в форуме (в админке посмотрите). Посмотрите так же какие страницы яндекс "кушает" у Вас, не выносится ли случаем ID сессии в строку адреса, если выносится, то это может быть причиной его абнормальной жадности. Допишите ручной "лог" длины запросов в БД, и для своего сайта и для своего форума, воообще для всего что работает с базой, посмотрите где окажется узкое место, да и вообще будет интересно наверное.

Эту фразу хотелось бы уточнить, т.к. звучит слишком категорично, но не всегда она справедлива.

VDS при прочих равных условиях в целом дороже такого же плана на шаред-хостинге. Простой переход на VDS ставит Вас в жесткие рамки лимитов по ресурсам, тогда как на шареде Вы в пики нагрузки на своем проекте можете использовать все свободные ресурсы сервера. Сколько их, этих свободных ресурсов зависит как от ресурсоемкости соседних проектов, так и от жадности хостера, который может натолкать на сервер даже слабеньких проектов столько, что каждый из них будет озадачивать систему перегрузкой. Верить хостеру или нет, что именно Ваш проект приводит к этой перегрузке, дело Ваше. Как уже неоднократно говорили выше, порядочные хостеры в подобном случае высылают клиенту подробный отчет с конкретной информацией для принятия мер. Не очень порядочные рекомендуют перейти на VDS. Но Вы должны понимать, что этот совет продиктован не столько заботой о Вас, сколько о Ваших соседях (точнее, о себе любимом). Если действительно Ваш проект подсаживает сервер, хостеру будет просто спокойнее, если он будет изолирован от других, самому же проекту лучше от этого не станет, если действительно там у Вас есть проблемные места в скриптах.

Из переписки с хостером:

- Скажите, а реально ли получить "детализацию" процессорной нагрузки - скажем, страницы, занявшие большую часть процессорной нагрузки, или запросы MySQL, выполнявшиеся дольше всего? Чтобы можно было попробовать оптимизировать как-то процесс? И еще вопрос - каким методом считается "Процессорная нагрузка"?

- Нет, детализацию получить нельзя (учет до деталей создал бы большую нагрузку на сервер). Замер производится таким методом - производится замер процессорного времени потока до и после исполнения запроса на Apache, затем если время превышает 30ms, оно записывается в файл. Время по часам суммируется, делится на длительность часа - получаются проценты.

В общем, насколько я понял, процессорная нагрузка у них прямо пропорциональна занятости сервера. Если сервер занят бекапом или чем-то подобным, нагрузка будет сильно выше. При этом кто создал нагрузку - PHP или MySQL не разберешь.


Возможно, просто у вас считается среднесуточная нагрузка? А у моего хостера - среднечасовая.


То есть? Падает? На шаред-хостинге или вообще? Какая альтернатива?


Я уже запретил в robots.txt индексирование viewtopic?p= (Вызов страницы по номеру сообщения, а не по номеру топика), стало лучше, дней 10 не было скачков - впрочем, может Яндекс устроил перерыв, кто его знает... Вчера вот снова было превышение, пока однократное. Номера сессий в строке есть, но даже если их оттуда убрать, мало что изменится. Вот посмотрите:



7 запросов вместо двух (Две страницы)
Впрочем, robots.txt не настолько гибкий, чтобы вырезать лишние запросы, т.к. они все выглядят по разному... Жаль там нельзя регулярные выражения задавать.... Надо же было сделать настолько ограниченный стандарт!

Мы в этом смысле говорим не об одном хостере. Как именно считались %%, честно говоря не знаем просто.Конечно, речь про шаред хостинг. Нет, не падает, просто если больше 50к хитов, то хостер начинает гнать, или говорит про превышение %%, или включает ограничение на количество запросов в час, или ещё что-нибудь.Номера сессий в строке для поисковиков это очень плохо в любом случае., даже для поисковиков. Во первых, Вы по сути дублируете контент один и тот же по разным адресам, это и по логике неправильно, и поисковиками по правилам вообще-то не одобряется. Во вторых, одну и ту же страницу (по смыслу), поисковик будет индексировать несколько раз (ибо адрес будет разный), и соответственно будет делать лишние и ненужные запросы к Вашему сайту. Тот пример что Вы привели, он немного урезанный, для полной картины надо вытащить логи допустим за месяц, и посмотреть сколько раз одну и ту же страницу дергал яндекс с разными sid, лично у нас были числа вплоть до 50...
Мы "лишние" обращения у себя в скриптах вырезали достаточно забавно, просто проверяли - если зашел яндекс, и на "неверную" страницу, то или выкидываем ему 404, либо 301 либо 302. Способ еще до конца не проверенный, но по логике вещей (и ответам яндекса) может иметь положительный эффект.

В общем, судя по вашим словам, пора мне менять хостинг...