У меня примерно до ноября 2007 года был форум. Но он не пользовался популярностью, поэтому, когда я в ноябре менял хостера, я перенес все скрипты своего сайта, а форум заново устанавливать не стал. Тем не менее, поисковый робот Яндекса все время пытается его индексировать и разумеется вопит об ошибке 404 на Яндекс-Вебмастере. Кроме того, я тогда же изменил структуру своего движка и сделал так, чтобы некоторые страницы открывались не по запросу script.php?action=xxx а просто создал скрипт xxx.php, который и открывает эту страницу. Так в Яндексе все равно осталась проиндексированной старая структура script.php?action=xxx хотя теперь по этому запросу скрипт ничего не выводит.
Я задавал им вопрос в техподдержке, они меня отправили читать FAQ, который я уже читал и ответа для себя не нашел. Спросить повторно я постеснялся.
Но сегодня я захотел посмотреть логи моего сервера (сегодняшние) и нашел, что и поисковый робот Рамблера тоже искал уже несуществующий каталог /forum.
Я оптимизацию сайта в поисковых системах знаю плохо, сейчас как раз изучаю ее. Подскажите пожалуйста, как такое может быть, чтобы поисковые роботы пытались индексировать удаленный раздел?
