Онлайн-форум hostobzor.ru > Вот захотелось посмотреть на...

lazutov

16.01.2009, 11:14

Значит кольнула меня в 5 точку мысль. Посмотреть на IP, и узнать примерное число доменов на IP у всяческих провайдеров.
За 5 минут было написано соответсвующее ПО и полетело со скоростью 1килодомен за 11 минут.
На данный момент обработано 135к/1 830к.
Соответсвенно: закончится дней через 14

top100 на данный момент:
легенда: 0.0.0.0 - не ресолвится.
IP определен парсингом команды host.

Код

+-----------------+--------+
| ip              | cnt    |
+-----------------+--------+
| 0.0.0.0         |  26255 |
| 193.232.159.1   |  12598 |
| 212.227.34.3    |   3481 |
| 82.98.86.172    |   1637 |
| 89.111.167.3    |   1160 |
| 82.98.86.174    |    932 |
| 84.204.97.124   |    770 |
| 87.242.112.251  |    734 |
| 82.98.86.169    |    648 |
| 195.208.0.15    |    597 |
| 82.98.86.164    |    535 |
| 194.85.61.78    |    528 |
| 195.208.0.16    |    523 |
| 89.111.173.121  |    518 |
| 195.208.0.4     |    505 |
| 82.98.86.173    |    503 |
| 82.98.86.161    |    493 |
| 194.190.139.249 |    491 |
| 216.8.179.26    |    455 |
| 81.176.226.197  |    425 |
| 82.98.86.171    |    417 |
| 82.98.86.163    |    385 |
| 82.98.86.162    |    377 |
| 82.98.86.168    |    362 |
| 82.98.86.167    |    359 |
| 80.93.50.105    |    355 |
| 87.242.73.96    |    339 |
| 78.109.24.152   |    339 |
| 78.108.81.85    |    293 |
| 82.98.86.179    |    244 |
| 194.85.61.54    |    241 |
| 62.16.112.158   |    241 |
| 82.98.86.166    |    213 |
| 82.98.86.165    |    210 |
| 92.241.180.30   |    203 |
| 81.176.214.36   |    202 |
| 91.197.97.5     |    195 |
| 77.222.40.206   |    185 |
| 91.195.124.20   |    184 |
| 82.98.86.170    |    184 |
| 212.158.162.5   |    174 |
| 74.50.109.39    |    167 |
| 81.176.226.173  |    162 |
| 82.98.86.175    |    158 |
| 77.221.130.22   |    156 |
| 89.188.101.74   |    155 |
| 91.195.124.21   |    150 |
| 77.221.130.21   |    136 |
| 75.126.142.110  |    134 |
| 208.43.124.186  |    134 |
| 89.111.190.102  |    133 |
| 82.146.61.234   |    132 |
| 72.232.114.171  |    131 |
| 89.111.176.123  |    128 |
| 81.176.76.76    |    128 |
| 89.188.96.90    |    121 |
| 77.222.40.33    |    117 |
| 82.98.86.177    |    117 |
| 213.189.197.1   |    115 |
| 89.111.173.128  |    114 |
| 77.222.40.242   |    112 |
| 89.188.96.93    |    111 |
| 67.228.163.224  |    108 |
| 77.221.130.19   |    107 |
| 77.222.40.141   |    103 |
| 77.221.130.18   |    103 |
| 222.162.139.85  |    103 |
| 89.108.95.19    |    102 |
| 194.58.79.126   |    102 |
| 77.222.40.91    |    102 |
| 194.135.105.50  |    101 |
| 82.98.86.176    |    100 |
| 212.48.153.193  |     99 |
| 77.222.40.120   |     99 |
| 81.176.226.196  |     99 |
| 212.23.90.34    |     98 |
| 79.174.73.73    |     97 |
| 77.222.40.195   |     96 |
| 194.135.22.142  |     96 |
| 213.234.193.166 |     95 |
| 79.174.72.85    |     94 |
| 62.109.2.56     |     93 |
| 89.111.173.118  |     93 |
| 77.221.130.13   |     92 |
| 77.222.40.43    |     90 |
| 89.111.176.107  |     89 |
| 79.174.72.83    |     89 |
| 89.149.254.11   |     89 |
| 80.93.62.117    |     88 |
| 77.222.40.170   |     88 |
| 62.118.254.152  |     88 |
| 78.108.81.180   |     86 |
| 77.221.130.24   |     86 |
| 78.108.81.170   |     85 |
| 80.92.66.130    |     85 |
| 217.16.20.205   |     84 |
| 78.108.84.20    |     83 |
| 194.135.103.21  |     83 |
| 87.118.100.177  |     83 |
+-----------------+--------+

Будет обновляться ежеждневно.

lazutov

20.01.2009, 13:45

обработана четверть.
Статистика по IP в читаемом формате с указанием IP, количества и имени сервера(из записи PTR):
http://slil.ru/26562138

lazutov

23.02.2010, 15:56

Просканил еще раз.
На этот раз обе зоны (RU/SU)
Подробнее http://habrahabr.ru/blogs/hosting/85140/
Ссылка, зеркало
Топовые IP, #2
К вопросу о том, сколько может быть сайтов на 1 сервере...

Drug

23.02.2010, 18:17

Цитата(lazutov @ 23.02.2010, 15:56)

К вопросу о том, сколько может быть сайтов на 1 сервере...

За 1 IP может сотня серверов висеть, так что это не показатель, и точно так же на 1 ip могут тысячи доменов киберсквотера висеть, реальной картины это к сожалению не отображается сколько у хостеров клиентов на одном сервере.

lazutov

23.02.2010, 19:30

Цитата(Drug @ 23.02.2010, 18:17)

За 1 IP может сотня серверов висеть, так что это не показатель, и точно так же на 1 ip могут тысячи доменов киберсквотера висеть, реальной картины это к сожалению не отображается сколько у хостеров клиентов на одном сервере.

Это все понятно. Но по таким провайдерам, у которых тарифные планы известны, можно сделать выводы.
Также можно сделать вывод о тех, у кого структура сети попроще
Спасибо за наводку, постараюсь в скором времени сделать проверку на кол-во уникальных сайтов. (напр. по <title>)

Ivan

23.02.2010, 19:39

Сделай еще греп по аскам. Интересная будет статистика

lazutov

23.02.2010, 20:25

Цитата(Ivan @ 23.02.2010, 19:39)

...аскам.

до меня смысл не дошел.
сделаю, как пойму что просится

Ivan

23.02.2010, 20:52

прохуизь ипы по райпу и арину, и отсортируй по автономным системам. Будет интересная статистика по Датацентрам - площадкам.

lazutov

23.02.2010, 21:17

Цитата(Ivan @ 23.02.2010, 20:52)

прохуизь ипы по райпу и арину, и отсортируй по автономным системам. Будет интересная статистика по Датацентрам - площадкам.

Принято.
Скоро будет

lazutov

23.02.2010, 22:09

Если знаете способ получит ASn у arin, скажите пожалуйста.
Он отдает все, что угодно, но не ASn

Ivan

23.02.2010, 22:17

Ну фиг с ним, сделай по NetName:

lazutov

23.02.2010, 23:29

поставил на ночь.

lazutov

24.02.2010, 00:26

plain ip:cnt:inetnum
filtered: inetnum:cnt txt html

Обработано 9000 IP ~~HAVING cnt(dn)~~ где сайтов на ip >19

Ivan

24.02.2010, 09:57

Очень правильная пиписькомерка. Если еще результаты раз в неделю получать и строить графички, будет вообще красота.

lazutov

24.02.2010, 15:24

Цитата(Ivan @ 24.02.2010, 09:57)

Очень правильная пиписькомерка.
Если еще результаты раз в неделю получать и строить графички, будет вообще красота.

Фалометрия должна быть честной. По всем 149 килоипам.
А 9к это так, общая картина.
В данный момент ресурсов(трафика)мало.Через месяц примерно перессчитаю.
Всего за неделю (установление соответствия DN>IP, IP>PTR,IP>netname) было сожжено такое кол-во бит, что в ~~longint~~ голове у меня не укладывается.текстовый траффик. Но многоблин

Ivan

24.02.2010, 15:25

Сколько надо полосы и какая железка?

lazutov

24.02.2010, 16:12

Цитата(Ivan @ 24.02.2010, 15:25)

Сколько надо полосы и какая железка?

Все сейчас работало на VDS ovz с 256RAM, 1 ядро от i7 920
полоса укладывалась в 10Мегабит с большой головой(если верить munin, если верить статистике провайдера, сожжено [290ГБ минус пакеты минус 1-2ГБ - гонял БД по интернету] )
HDD: сейчас не занято и 3 ГБ, но это явление временное.
Сканер DN>IP работал в 5 потоков, чем и забивал ~~всю~~ память.
Про то, как он работал: время отклика бд; кол-во установленных соответствий; скорость в минуту, эти же сырые данные

При увеличении кол-ва потоков увеличивается скорость и потребление памяти.
этапы автоматизированы: экспорт в БД, DN <> IP, экспорт результатов, приставка PTR и netname. Если связать это все, то можно запускать раз в X дней и не думать.

В принципе есть желание довести до чего-то стоящего.

Ivan

24.02.2010, 16:59

Опа, у моих подконтрольных фирм в наличии только однопроцессорный атом, правда с гигом памяти... На этой неделе стойку новую запущу, могу нарыть бу железку.. Такой проект бы поддержал

2MF

24.02.2010, 18:27

В наличии имеется доступ к файлам зон .com и .net. И скриптик фильтрующий их в список доменов. Могу предоставить ради науки ;-)
Но я думаю его не осилить так.

lazutov

24.02.2010, 18:56

Ivan:
Я конечно же не против.

Если все будет хорошо, я сделаю маленькое предложение, так скажем обмен

Цитата(2MF @ 24.02.2010, 18:27)

В наличии имеется доступ к файлам зон .com и .net. И скриптик фильтрующий их в список доменов. Могу предоставить ради науки ;-)
Но я думаю его не осилить так.

а сколько их там (wc)?

2MF

24.02.2010, 21:15

Цитата(lazutov @ 24.02.2010, 18:56)

а сколько их там (wc)?

Код

meatbag:~/vs# cat net.lst | wc -l
12792078
meatbag:~/vs# cat com.lst | wc -l
85279209

2MF

01.03.2010, 03:19

Код

~$ dig vg @euterpe.william.org -t AXFR

8100, считая мусор. Можно, при желании, на них тоже поэкспериментировать