Раньше сайт (большая доска объявлений, 50 тыс страниц, из которых проиндексировано 33 тыс.) держали на Плюсвебе, хостер жаловался, что поисковик грузит сервер и обрубал процессы (допустим заходит в 3 часа ночи и вешает), из за того что поисковику "обрубался" коннект доска индексировалась неполностью. Исследуя аналогичную тему на:
http://forum.searchengines.ru/showthread.php?t=110043 можно прийти к выводам

а) искать другой хостинг
б) переходить на VDS
в) банить поисковик (что для нас неприемлемо, т.к. нам очень важен трафик)

Естественно для сайта с посещаемостью в не более 800 человек в день в нормальном состоянии излишне такие траты (на другой хостинг - Петерхост мы уже перешли) разница оказалась только в том что предыдущий не мог выразить цифрами загрузку аккаунта а Петерхост может. Что в принципе и может их подтолкнуть закрыть наш аккаунт:


Наша автоматическая система мониторинга нагрузки процессоров выявила, что в последнее время Ваш аккаунт создает КРИТИЧЕСКУЮ нагрузку на сервер баз данных MySQL (mysql4.z8.ru), что существенно замедляет работу других аккаунтов и угрожает безопасности работы всего сервера целиком. Периодические тесты приведены ниже.


--------------------------------------------------------------------------------------------------
| Период тестирования | Пользователь | Нагрузка,% | CPU,мин | Запросов |
|-------------------------------------------|----------------|------------|---------|------------|
| 2007-03-09 23:35:01 - 2007-03-09 23:50:02 | dbu_miheeff2_1| 16% | 4.86 | 1301 |
| 2007-03-09 23:20:02 - 2007-03-09 23:35:01 | dbu_miheeff2_1| 28% | 8.58 | 2713 |


это график одной из пиковых нагрузок. Такое "счастье" ко мне приходит 2-3 раза в неделю. Обычно не более 16 процентов пиковой нагрузки сервера. Давайте вместе сформулируем те меры, которые можно предпринять со скриптами сайта, чтобы избежать перегрузки страниц сервера.

Сайт, который вешает поисковик Доска объявлений (33 тыс страниц) и работа, вакансии (52 тыс страниц - из них Яндекс проиндексировал только 31 тыс.) (

Есть несколько вариантов (можно их комбинировать):
1. Слегка "подтормаживать" количество единовременно отдаваемых страниц на сервере (это задача хостеру).
2. Менять скрипт доски (это уже Вам).
У меня на public серверах стоят несколько личных досок с посещаемостью >1000 посетителей, >30К страниц, хорошей глубиной просмотра. Нагрузка 3-8% от максимума. Индексируются прекрасно, в пределах видимой части первой страницы...

Я думаю с посещаемостью в 800 человек в сутки можно позволить себе ВДС, если конечно зарабатываете с рекламы на сайте... либо так называемый "VIP хостинг", где за более дорогую сумму Вам будут разрешены бОльшие нагрузки на сервер...

Да не должна доска с 800чел/30К страниц грузить хостинг.

Зато после индексации на сайте www.job-miheeff.ru кол-во страниц стало 48 тыс ;P
Но я думаю не надолго. Двадцадка выпадает периодически.