Привет, у меня нет опыта использования ресурсоёмких скриптов на хостинге.
Прошу совет. Есть скрипт, который скачивает из интернета странички. Нужно скачивать около 1000 страниц в минуту, возможно в несколько потоков. Какой нужен хостинг, который вывезет такую работу?
Я обратил свой взор на одну компанию (300 Mhz/128 Mb/10 Gb/Трафик 60 Gb). Как думаете, потянет?

Берите vds с gentoo, ставьте туда только wget и тяните себе

сорри, не подумал, что рекламирую. поправил.



А почему именно gentoo? FreeBSD покатит?

shoman
Что опять perl'овый или python'овский граббер? (сарказм).
Сервер нужен. Это:

как поняли VPS. Не забудьте что его нужно администрировать.
1000 запросов на скачивание в минуту?
Наверно трафик быстро улетит, а если скрипт будет такой как я думаю, то оперативу он будет кушать хорошо

В gento не идет разного лишнего

да, перловый.

действительно, трафик быстро улетит на этом хостинге. Если скачиваемая страница будет весить в среднем 20 кб, то 1000 страниц - это 20кб*1000 = 20мб. За час получается 20*60 = 1200 Мб. За сутки - 1200мб * 24 ~ 29Гб. Где же такой тариф найти....

Берете любой сервер с 1Tb трафика и используете его

- в последнее время активизировались DOS-еры, покупающие VPS-ы у различных хостеров и организующие с них атаки. Ничего личного, просто дружеский аларм для хостеров

Ребят, Вы, наверное, советуете челу, который парсит чужие сайты и использует чужой контент, что неправомерно.

Гнать таких в шею надо, а не советы давать.

Прошу прощения заранее, если я неправ по поводу целей топикстартера

Может он свой поисковик делает

Не всегда. Есть и вполне нормальные сборщики. Как пример - поисковики, сайты о работе (openCV), индексаторы сайтов\файлопомоек и т.д.