Имею небольшой сайт (см. профиль) - чуть больше 100 страничек плюс форум на PHPBB около 5000 сообщений на сейчас. PHP5+MySQL. Сейчас размещен на виртуальном хостинге. Посещаемость - 100 человек в день, понемножку растет. Плачу 10уе/месяц.

Проблемы:
1. Хостер периодически матерится из-за превышения проц. мощности в 5% (Вызываемого как правило набегами Яндекса на форум). Требует перехода на 20-долларовый тариф.
2. Форум периодически заметно подтормаживает, провайдер разводит руками.

Поможет ли переход на VPS и какие нужны примерно характеристики для плавной поддержки всего этого? Или может есть другие варианты?

Хм... Может проще запретить поисковикам индексацию форума и остаться на нынешнем тарифе? Как вариант - оптимизировать ручками движок, включить кэширование шаблона. Ну или поискать хостера с мускулом пошустрее. Движок форума не требует безумных ресурсов при такой низкой посещаемости, если все оптимизоровать.

Отключать поисковиков не хочется - с Яндекса половина посетителей идет.
Движок тоже тяжко оптимизировать - форум стандартный, периодически обновляется.

Добавил Вашему хостеру проблем - повысил посещаемость своим заходом на сайт .

Странно всё это, и хостер не самый плохой (как мне казалось) и сайт с форумом намного меньше, чем был в свое время ХостОбзор на таком же 10$-ом тарифе у другого хостера. Но никогда мой хостер не ругался за перегрузку даже при большей посещаемости того же phpBB, чем у Вас. Я phpBB никак не оптимизировал тогда, как и Вы пользовался стандартной поставкой. И поисковики не блокировал.

Есть над чем подумать. И Вам, и нам, и хостерам. Переход на VDS не рекомендую, при прочих равных условиях, ресурсов может оказаться меньше, чем на шаред-хостинге. Если переход на VDS рекомендует Ваш хостер, лучше сменить хостера. 10$ - красная цена за высокий уровень обслуживания Вашего проекта на виртуальном сервере (шаред).

Попросите хостера показать чем именно грузит Ваш сайт сервер на 5% мощности. Если это запросы в базу - пусть покажет какие. Если просто скрипт - пусть покажет какой именно. Надо учесть, что кроме стандартного форума, у Вас вероятно стоит какой-то движок, судя по сайту, возможно проблемы создает что-то в нём. Если к форуму ставили дополнительные "навороты" возможно проблемы вызваны этим. Посещаемость 100 человек в день не кажется нам критичной.

Спасибо за поддержку, я в общем тоже несильно горю желанием платить 20уе за 1-2 тысячи хитов в сутки. (не считая роботов).
Что касается перегрузки - просто провайдер считает загрузку ежечасно, и если за три дня набирается больше 1 вылета за 5% зону - то присылает письмо "Немедленно меняйте тариф". При этом если Яндексу приходит в голову обновить пару тысяч топиков, то это пару-тройку часов по 700 запросов в час, что и составляет обычно 6-7 процентов. Не говоря уже о том, что на следующую ночь он опять может прийти. Пока отбивался, но думаю все же нервы себе дороже...
Ну это еще бы полбеды, но тормоза продолжаются... Вот страница статистики загрузок страниц:
http://sammy.ru/stat.php... 70 секунд на полу-секундную страничку - это слишком. И хостер разводит руками - "А мы типа не умеем пятую MySQL админить...."
В общем, буду наверно менять хостера.

Нагрузку я уже писал выше - как правило Яндекс, сканирующий форум, хотя бывают и другие поисковики. Способ расчета нагрузки писал выше.
Движок у меня действительно свой, но страниц мало, а страницы я большей частью даже кеширую, так что проблема однозначно с форумом. Форум стандартный PHPBB + пара несложных модов.

Нагрузку создает не яндекс. Простите за занудство, но нагрузку создает скрипт, запросы в базу, но никак не яндекс.
Вот например пример сообщения о нагрузке (украли с другого сайта реальный пример, надеемся никто не в обиде) который мы имели ввиду

Всё четко. Виден запрос. Видно сколько выполнялся. Можно даже подогадываться почему выполнялся долго. *** заменили не существенное.
Имхо, Вы слишком однозначны. Такие же форумы выживают при >1к посетителей и при неотключенных поисковиках. Мы бы думали на нестандартные добавления к форуму или хостера. Что касается количества страниц у Вас в движке, честно говоря, мы не считаем что в этом дело. Ни в коем случае не пытаемся ничего утверждать, но всего 1 запрос в базу данных, например, может создавать нагрузку, которую не создаст и 1000 страниц. Может быть где-то опечатка, может еще что-то. Поэтому и советуем узнать более точные данные у хостера о причинах нагрузки, что бы на следующем хостере ситуация не повторилась, а ведь есть хостеры менее терпимые.

edogs

Форум стандартный. PHPBB. Проект достаточно крупный, чтобы там были люди, значительно лучше разбирающиеся в PHP+MySQL чем я и значительно лучше понимающие структуру форума. Наверно, если бы добавление пары индексов ускоряло форум в 10 раз, эти индексы давно бы добавили...
Моды также одобренные создателями проекта - аттачменты и пару совсем мелких, не имеющих отношения к БД. Одни из самых распространенных, надо отметить. Поверьте, запросов, работающих минутами, там нет.
Как я уже говорил, на данный момент без роботов я имею 1к хитов в среднем в сутки, то есть 40 страниц в час. Приходит Яндекс и устраивает лавину в 500-800 запросов в час, превышая нормальный фон в 10-20 раз. Причем каждая страница - несколько запросов к БД и довольно сложная их обработка. Влезать в движок нормально работающего на тысячах сайтов форума и тратить уйму времени на его оптимизацию у меня, увы, нет ни желания, ни, я боюсь, достаточной квалификации (Собственно, с PHP+MySQL я работаю чуть меньше года, в основном весьма вскользь)

Точные данные, конечно, попросить было бы неплохо, но, по моей оценке хостера, они вряд ли мне предоставят такие данные. Если бы у них что-то подобное было, они бы наверно упомянули бы это хоть в одном разговоре... А учитывая их последнее заявление, что с MySQL 5 они еще не умеют заниматься разборками+оптимизацией, мое подозрение почти перерастает в уверенность. Впрочем, я спрошу... Вдруг все же ошибся?

У меня к вам просьба - если есть хоть какие-то оценки количества хитов/процессорную нагрузку форума, покажите, пожалуйста... Хотя бы для сравнения...

Уточни у хостера у него стоит еще PHP4 вместе с PHP5 и как они настроены, т.е. кто из них модуль, а кто через cgi работает, либо другие варианты.


Что именно создает нагрузку MYSQL или PHP.

Нужно конкретику.

На счет VPS ...

Как Петр сказал, не советую тебе, возможно будет еще хуже.

Как Вариант только выделенный сервер, но думаю тебе будет не поденьгам.
Но это уже другая тема.

Лучше всего оставаться на хостинге, но нужно уточнить проблему... Без название болезни не узнаешь, какое лекарство тебе нужно выпить

Вы, возможно, нас не так поняли. Мы выше, как раз и сказали, что "мы бы думали на нестандартные добавления к форуму или хостера" или даже на движок сайта, но не на сам форум.
Кстати, phpbb-шный форум очень неплохо поддается оптимизации по скорости, если не ошибаемся, эта тема затрагивалась на dklab.ru где-то, правда инструкций how to там не было, так что если только из любопытства.
Если мы не ошибаемся, им надо включить лог slow queries в mysql, это покажет конкретику по претензиям к запросам в БД. Не знаем насколько они в Вас заинтересованы, что бы это сделать. С другой стороны, раз Вы уже имеете год опыта в программировании, можем посоветовать дописать свой собственный измеритель скорости запросов и лог самых долгих, просто в сами скрипты. Это в любом случае будет не бесполезно, даже если будете переезжать.
Показать наглядно не сможем, но если говорить в общих словах. Мы не видели перед глазами примеров, когда хостеры имели претензии по нагрузке к phpbb на обычном хостинге при хитах меньше 20К в сутки, и не видели ни одного примера где phpbb выдерживал бы более 50К хитов в сутки, это средние цифры за сутки. Считаем что у нас достаточно было перед глазами примеров, что бы мы верили в эти цифры. %% макс нагрузки в среднем у хостеров одинаковые, от 3 до 7, поэтому вот. При чем вышесказанное безусловно подразумевает, что никто не "отключал" яндекс.

Из советов "по ходу" дела кроме вышесказанного. Может немного помочь отключение gzip в форуме (в админке посмотрите). Посмотрите так же какие страницы яндекс "кушает" у Вас, не выносится ли случаем ID сессии в строку адреса, если выносится, то это может быть причиной его абнормальной жадности. Допишите ручной "лог" длины запросов в БД, и для своего сайта и для своего форума, воообще для всего что работает с базой, посмотрите где окажется узкое место, да и вообще будет интересно наверное.

Эту фразу хотелось бы уточнить, т.к. звучит слишком категорично, но не всегда она справедлива.

VDS при прочих равных условиях в целом дороже такого же плана на шаред-хостинге. Простой переход на VDS ставит Вас в жесткие рамки лимитов по ресурсам, тогда как на шареде Вы в пики нагрузки на своем проекте можете использовать все свободные ресурсы сервера. Сколько их, этих свободных ресурсов зависит как от ресурсоемкости соседних проектов, так и от жадности хостера, который может натолкать на сервер даже слабеньких проектов столько, что каждый из них будет озадачивать систему перегрузкой. Верить хостеру или нет, что именно Ваш проект приводит к этой перегрузке, дело Ваше. Как уже неоднократно говорили выше, порядочные хостеры в подобном случае высылают клиенту подробный отчет с конкретной информацией для принятия мер. Не очень порядочные рекомендуют перейти на VDS. Но Вы должны понимать, что этот совет продиктован не столько заботой о Вас, сколько о Ваших соседях (точнее, о себе любимом). Если действительно Ваш проект подсаживает сервер, хостеру будет просто спокойнее, если он будет изолирован от других, самому же проекту лучше от этого не станет, если действительно там у Вас есть проблемные места в скриптах.

Из переписки с хостером:

- Скажите, а реально ли получить "детализацию" процессорной нагрузки - скажем, страницы, занявшие большую часть процессорной нагрузки, или запросы MySQL, выполнявшиеся дольше всего? Чтобы можно было попробовать оптимизировать как-то процесс? И еще вопрос - каким методом считается "Процессорная нагрузка"?

- Нет, детализацию получить нельзя (учет до деталей создал бы большую нагрузку на сервер). Замер производится таким методом - производится замер процессорного времени потока до и после исполнения запроса на Apache, затем если время превышает 30ms, оно записывается в файл. Время по часам суммируется, делится на длительность часа - получаются проценты.

В общем, насколько я понял, процессорная нагрузка у них прямо пропорциональна занятости сервера. Если сервер занят бекапом или чем-то подобным, нагрузка будет сильно выше. При этом кто создал нагрузку - PHP или MySQL не разберешь.


Возможно, просто у вас считается среднесуточная нагрузка? А у моего хостера - среднечасовая.


То есть? Падает? На шаред-хостинге или вообще? Какая альтернатива?


Я уже запретил в robots.txt индексирование viewtopic?p= (Вызов страницы по номеру сообщения, а не по номеру топика), стало лучше, дней 10 не было скачков - впрочем, может Яндекс устроил перерыв, кто его знает... Вчера вот снова было превышение, пока однократное. Номера сессий в строке есть, но даже если их оттуда убрать, мало что изменится. Вот посмотрите:



7 запросов вместо двух (Две страницы)
Впрочем, robots.txt не настолько гибкий, чтобы вырезать лишние запросы, т.к. они все выглядят по разному... Жаль там нельзя регулярные выражения задавать.... Надо же было сделать настолько ограниченный стандарт!

Мы в этом смысле говорим не об одном хостере. Как именно считались %%, честно говоря не знаем просто.Конечно, речь про шаред хостинг. Нет, не падает, просто если больше 50к хитов, то хостер начинает гнать, или говорит про превышение %%, или включает ограничение на количество запросов в час, или ещё что-нибудь.Номера сессий в строке для поисковиков это очень плохо в любом случае., даже для поисковиков. Во первых, Вы по сути дублируете контент один и тот же по разным адресам, это и по логике неправильно, и поисковиками по правилам вообще-то не одобряется. Во вторых, одну и ту же страницу (по смыслу), поисковик будет индексировать несколько раз (ибо адрес будет разный), и соответственно будет делать лишние и ненужные запросы к Вашему сайту. Тот пример что Вы привели, он немного урезанный, для полной картины надо вытащить логи допустим за месяц, и посмотреть сколько раз одну и ту же страницу дергал яндекс с разными sid, лично у нас были числа вплоть до 50...
Мы "лишние" обращения у себя в скриптах вырезали достаточно забавно, просто проверяли - если зашел яндекс, и на "неверную" страницу, то или выкидываем ему 404, либо 301 либо 302. Способ еще до конца не проверенный, но по логике вещей (и ответам яндекса) может иметь положительный эффект.

В общем, судя по вашим словам, пора мне менять хостинг...


Да, это-то понятно. Просто не хочется лезть в форум и править все GET на POST. Боюсь их там ну очень много, а совместимости это не добавит...


О! Хорошая мысль, мне как-то в голову не пришла. Разборку на уровне mod_rewrite делали?
А Яндекс не сочтет это незаконной операцией? Ведь с любого другого адреса эти страницы будет видно?

Насколько понимаю, Яндекс не будет возражать против сокрытие от роботов некоторых адресов, скрывают даже части текста внутри документа, для чего используется обычный <noindex> - кстати, тот же robots.txt предназначен для сокрытия разделов сайта от паоисковиков, и не обязательно служебных разделов

Другое дело, что поисковики, и в первую очередь Яндекс, применяют санкции к тем, кто наоборот, делает тексты, доступные для робота, невидимыми человеку - те наказываются случаи, когда тексты делаются не для посетителей, а для роботов - а не наоборот

Но я бы, на Вашем месте, задал бы такой вопрос и на форуме оптимизаторов в разделе Яндекс
http://forum.searchengines.ru/forumdisplay.php?f=10

Это не совсем так. Можно настроить VDS так, что на пики нагрузки сервер будет отдавать ресурсы, если они конечно свободны. В этом плане VDS не особо отличается от виртуального хостинга

Нет, мы как раз советуем Вам попытаться найти причину, а потом уже делать выводы о необходимости менять хостинг.
Мы в основном говорили о дублях от sid в строке адреса. GET и POST на это не влияет.
Нет, прямо в php scripte.

Задавали вопрос тут http://forum.searchengines.ru/showthread.php?t=32264 , так же осмелились написать в суппорт яндекса, и получили ответ, смысл которого восприняли следующим образом. Для удаления страниц 404, для избавления от дублей - на дубле выдавать 301 на "оригинал". И главное что было сказано - дубли в любом виде это плохо, хотя был еще добавлено, что вообще не видят смысла в необходимости дублей даже для пользователя
По поводу незаконности. Опять же по мотивам поисковых форумов и правил, восприняли их так. Подделка контента страницы (то есть допустим выдача страницы БЕЗ ссылок которые ведут на дубли) для поисковика это плохо. Выдача страниц только поисковику - плохо. Прятать страницы от поисковика, особенно дубли - хорошо и правильно.

Сейчас выкопали переписку с яндекс.суппорт. Выкладывать не будем, естественно, но суть перескажем.
Дублей надо избегать. Можно и нужно реализовывать через 404 ошибку, хотя допустимо и 301 и 302. Ссылки на страницы 404 учитываются, так как тиц и иц получает домен.
Но нам еще был интересен и гугл, который, как мы поняли, 404 не любит. Поэтому 301 и 302 тоже считаем вариантом.

? "Можно настроить" или "обычно настроен по умолчанию"? Кем может быть настроен? Клиентом или хостером?

Можно настроить. "Обычно настроен по умолчанию" - это бывает только в Windows
Настроен может быть естественно хостером.

И как ее искать? Логи операций (Кроме апачевских) хостер не дает. Если бы сайт постоянно был тормознутым, было бы понятно. А так он часть времени летает, часть ползает, часть почти стоит. Форум как я уже говорил, стандартный, расширения его тоже. Ничего написанного мною там нет.

А, ну да. Я все торможу - мы же в терминах поисковика живем. Впрочем это ничего не меняет. Убрать SIDы - пострадают люди с отключенными куками, так ведь? А вырезать сиды для варианта Log off user - надо сначала покопаться в движке и подумать не угробит ли это чего.... Я подозреваю это сильно увеличит таблицу сессий и здорово подпортит статистику числа людей на форуме.


Спасибо за информацию, буду запрещать всякие Next, Prev и прочие дурости поисковикам...

Допишите свой логгер. Это не так сложно и пригодится и на будущее. Пропускайте все запросы в базу через измеритель времени, а победителей записывайте в файл.
Для пользователей можете оставить как есть. Вам надо убрать sid-ы только для анонимов, или вообще только для яндексов всяких (благо они представляются в http_user_agent). Кстати, это Вам пожалуй на форум по суппорту phpbb, phpbb вполне способен адекватно "общаться" с поисковиками, тут скорее дело в настройках форума/хостинга нежели глобальная проблема. Да и честно говоря, пользователи с отключенными куками - имхо - достаточно редкая вещь.

Дописывать логгер на каждый запрос к MySQL это еще нагрузка на сервер, плюс надо лезть в исходники форума, а мне это не шибко хочется. Зато нашел несколько модов для форума, убирающих SID, делающих статические адреса и много чего еще. Так что буду думать.

Кстати, еще показатель - раньше все было ок, тормоза начались буквально месяц назад.

А заодно еще решил попробовать другой хостинг - hosting.rbc.ru. Вдруг там не жизнь, а сыр в масле

как то примерно в течение недели наверное были проблемы с яндексом. настолько суровые что приходилось просто блочить его ай-пи. был выявлен сайт на котором это происходило. после указания клиенту, он у себя что то там наковырял и более ничего подобного не происходило. подозреваю что и у вас что то подобное происходит. поисковик цепляется за какие то запросы и начинает то ли неверно индексировать, то ли слишком глубоко лезть, то ли индексировать буквально все. в результате получается тоже самое что и с дорвеями на 20-50 тысяч страниц - нагрузка резко возрастает, поскольку вместо того чтобы посетить страницу и свалить, поисковик проверяет каждый пост. а теперь прикиньте во что это выльется если таких запросов будет по числу постов на форуме? да если еще их по несколько раз каждый...

Нагрузка увеличиться минимально, не знаем насколько это правомерно тут сравнивать, но лично у нас работа логгера увеличивает время генерации страницы на количество времени в пределах погрешности измерения То что не хочется понимаем - но результат того будет стоить.
А может и не будет стоить У яндекса/гугла бывают "бзики", как нападет - прямо и не знаешь что делать
Интересно, а Вы уверены что это яндекс? По IP определяли?
А то может какой-нибудь weboffline-browser представляющийся в юзерагенте яндексом Вас скачивает.

IP проверил - sfront39.yandex.ru (213.180.216.11).
Ладно, давайте считать с другой стороны. В часе 3600 секунд. Яндекс делает ко мне около 600 запросов в час, сервер считает что это 5% занятости. То есть теоретически имеем 20*600=12000 страниц в час, т.е. 4 страницы в секунду, т.е. 0.25 секунды на страницу (С кучей SQL-запросов каждая, я полагаю). При этом обычно это происходит ночью, когда хостер имеет дурную привычку запускать бекапы и