Онлайн-форум hostobzor.ru > Что это? Оверселлинг или моя невнимательность?

tont

03.04.2008, 19:37

Полгода назад взял я у одного хостинг-провайдера VDS. В тарифе указаны гарантированные 512 Мб оперативной памяти. Сервер хорошо работал, без сбоев, примерно 3 месяца, потом началось интересное. Набрал я top в консоли и увидел:

Код

# top
top - 20:15:11 up 4 days, 20:15,  1 user,  load average: 0.01, 0.01, 0.00
Tasks:  49 total,   2 running,  47 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.2% us,  0.2% sy,  0.0% ni, 99.7% id,  0.0% wa,  0.0% hi,  0.0% si,  0.0% st
Mem:   3360860k total,  3347396k used,    13464k free,     6600k buffers
Swap:  8008392k total,     3716k used,  8004676k free,  2807356k cached

Получилось свободно 12 Мб. Посчитал суммарное в ps aux - оказалось гораздо меньше. Написал в техподдержку, отписали, что top показывает загрузку мастер-сервера и смотреть надо в /proc/user_beancounters параметр privvmpages . Попробовал:

Код

# cat /proc/user_beancounters
Version: 2.5
       uid  resource           held    maxheld    barrier      limit    failcnt
       101: kmemsize        5828550    5846802    9871360   10158080          0
            lockedpages           0          0        256        256          0
            privvmpages      101205     101243     131072     133000       1803
            shmpages           1921       1921      21504      21504          0
            dummy                 0          0          0          0          0
            numproc              75         75        240        240          0
            physpages         53416      53421          0 2147483647          0
            vmguarpages           0          0     327680 2147483647          0
            oomguarpages      53864      53869     327680 2147483647          0
            numtcpsock          172        172        360        360        595
            numflock              7          7        188        206          0
            numpty                2          2         16         16          0
            numsiginfo            0          1        256        256          0
            tcpsndbuf        408896     408896    1720320    2703360          0
            tcprcvbuf        214692     256592    1720320    2703360          0
            othersockbuf      85392      86092    1126080    2097152          0
            dgramrcvbuf           0       1212     262144     262144          0
            numothersock         74         74        360        360          0
            dcachesize       357523     364002    2273280    2416640          0
            numfile            3726       3735       5820       5820          0
            dummy                 0          0          0          0          0
            dummy                 0          0          0          0          0
            dummy                 0          0          0          0          0
            numiptent            71         71        400        400          0

Посчитал, что из гарантированных мне 512 Мб осталось примерно 120 Мб. Но ведь физически доступно на сервере 12 Мб. Возник вопрос: куда делись остальные 108 Мб оперативной памяти, которые мне как бы гарантированы, но в тоже время недоступны физически на сервере?

MIRhosting.com

03.04.2008, 19:43

Почитайте статейку на хостобзоре, думаю станет понятнее.
P.S. Мне понравилось, 3 гига оперативке и 8 swap.

gylys

03.04.2008, 21:51

Цитата(tont @ 03.04.2008, 19:37)

Код

            privvmpages      101205     101243     131072     133000       1803
            numtcpsock          172        172        360        360        595

У Вас гарантированно на много больше памяти чем 512:

vmguarpages >>> 327680 / 1024*4 = 1280 МБ

512 МБ это у Вас расширяемая память. Просто ситуация на сервере или возможно приоритет VPS не даёт откусить все 512 МБ. Понять реальную ситуацию можно только посмотрев что показывает cat /proc/user_beancounters на самой ноде.
Если ресурсы распределенны честно, ядро разрешает откусить памяти чуть больше, чем даже разрешенно:

Код

privvmpages 181946 262643 262144 262144 1466
или
privvmpages 43649 83582 81920 81920 214275

Меняйте провайдера.

Ru-hoster.Com

04.04.2008, 07:35

Цитата(tont @ 04.04.2008, 03:37)

Полгода назад взял я у одного хостинг-провайдера VDS. В тарифе указаны гарантированные 512 Мб оперативной памяти. Сервер хорошо работал, без сбоев, примерно 3 месяца, потом началось интересное. Набрал я top в консоли и увидел:

Код

# top
top - 20:15:11 up 4 days, 20:15,  1 user,  load average: 0.01, 0.01, 0.00
Tasks:  49 total,   2 running,  47 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.2% us,  0.2% sy,  0.0% ni, 99.7% id,  0.0% wa,  0.0% hi,  0.0% si,  0.0% st
Mem:   3360860k total,  3347396k used,    13464k free,     6600k buffers
Swap:  8008392k total,     3716k used,  8004676k free,  2807356k cached

Получилось свободно 12 Мб. Посчитал суммарное в ps aux - оказалось гораздо меньше. Написал в техподдержку, отписали, что top показывает загрузку мастер-сервера и смотреть надо в /proc/user_beancounters параметр privvmpages . Попробовал:

Код

# cat /proc/user_beancounters
Version: 2.5
       uid  resource           held    maxheld    barrier      limit    failcnt
       101: kmemsize        5828550    5846802    9871360   10158080          0
            lockedpages           0          0        256        256          0
            privvmpages      101205     101243     131072     133000       1803
            shmpages           1921       1921      21504      21504          0
            dummy                 0          0          0          0          0
            numproc              75         75        240        240          0
            physpages         53416      53421          0 2147483647          0
            vmguarpages           0          0     327680 2147483647          0
            oomguarpages      53864      53869     327680 2147483647          0
            numtcpsock          172        172        360        360        595
            numflock              7          7        188        206          0
            numpty                2          2         16         16          0
            numsiginfo            0          1        256        256          0
            tcpsndbuf        408896     408896    1720320    2703360          0
            tcprcvbuf        214692     256592    1720320    2703360          0
            othersockbuf      85392      86092    1126080    2097152          0
            dgramrcvbuf           0       1212     262144     262144          0
            numothersock         74         74        360        360          0
            dcachesize       357523     364002    2273280    2416640          0
            numfile            3726       3735       5820       5820          0
            dummy                 0          0          0          0          0
            dummy                 0          0          0          0          0
            dummy                 0          0          0          0          0
            numiptent            71         71        400        400          0

Посчитал, что из гарантированных мне 512 Мб осталось примерно 120 Мб. Но ведь физически доступно на сервере 12 Мб. Возник вопрос: куда делись остальные 108 Мб оперативной памяти, которые мне как бы гарантированы, но в тоже время недоступны физически на сервере?

Знаю я этого вашего "провайдера"
Меняйте срочно, так как если это действительно те, о ком я думаю - вам очень не повезло.

kpv

04.04.2008, 10:19

Цитата(MIRhosting.com @ 03.04.2008, 20:43)

Почитайте статейку на хостобзоре, думаю станет понятнее.
P.S. Мне понравилось, 3 гига оперативке и 8 swap.

можно почти трёхкратный оверселл сделать

gylys

04.04.2008, 12:34

Цитата(kpv @ 04.04.2008, 10:19)

можно почти трёхкратный оверселл сделать

Количество SWAP не говорит об уровне оверсела. Наверно стоит просто подумать, перед тем как утверждать. Оверселить можно и с выключенным SWAP.
Класические рекомендации SWAP = 2 x RAM пока ни кто не отменил. На 3 GB будет или 6 или 8 GB SWAP это кардинально не меняет дела. Может сервер был с 4 GB RAM и вылетела одна планка?

MIRhosting.com

04.04.2008, 15:36

Цитата(gylys @ 04.04.2008, 11:34)

Количество SWAP не говорит об уровне оверсела. Наверно стоит просто подумать, перед тем как утверждать. Оверселить можно и с выключенным SWAP.
Класические рекомендации SWAP = 2 x RAM пока ни кто не отменил. На 3 GB будет или 6 или 8 GB SWAP это кардинально не меняет дела. Может сервер был с 4 GB RAM и вылетела одна планка?

Делать на линуксах swap больше чем 2 гига бессмысленно. Лучше тогда 2 swap по 2 гига, если сильно надо. Хотя если система будет использовать целиком даже 1 из 2 Гб swap, назвать это нормальной ситуацией нельзя.

eSupport.org.ua

04.04.2008, 18:31

Есть смысл делать свап очень большим если планируется пускать много поцессов которые в основном будут спать

Romanion

05.04.2008, 14:39

Цитата

Есть смысл делать свап очень большим если планируется пускать много поцессов которые в основном будут спать

Всеже смысла в этом большого не вижу. 2 гб под swap в полне достаточно, не зависимо от кол-ва ОЗУ, имхо.
Когда сервер уходит в swap даже на 300-400 мб, уже нормальной работой это очень сложно назвать.

eSupport.org.ua

05.04.2008, 17:53

У меня есть сервера которые в swap на *4 RAM и la 0-3

gylys

06.04.2008, 02:13

Цитата(Romanion @ 05.04.2008, 14:39)

Всеже смысла в этом большого не вижу.

[офтопик] В шахматы научитесь играть, увидите смысл.... [/офтопик]

kpv

07.04.2008, 07:54

Цитата(gylys @ 06.04.2008, 03:13)

[офтопик] В шахматы научитесь играть, увидите смысл.... [/офтопик]

угу, пока процессы в свопе висят будет время подумать над очередным ходом

p.s. не говорите мне что делать и я не скажу куда вам идти

tont

07.04.2008, 22:24

Господа, уходим от темы

. Тема раскрыта.

Romanion

08.04.2008, 03:44

Цитата

[офтопик] В шахматы научитесь играть, увидите смысл.... [/офтопик]

Больше шашки люблю

Сергей Гура

09.04.2008, 22:55

Цитата(gylys @ 06.04.2008, 03:13)

[офтопик] В шахматы научитесь играть, увидите смысл.... [/офтопик]

может еще в домино предложите?

gylys

10.04.2008, 00:42

Цитата(Сергей Гура @ 09.04.2008, 22:55)

может еще в домино предложите?

[офтопик]
Знаю что шахматы учат предвидеть несколько ходов на перёд, и выгрывает тот, кто может дальше видеть. По поводу домино ничего не могу сказать, слыхал что это называетса "козла бить", значит много ума не надо

[/офтопик]

По поводу количества SWAP, то моё предложение как раз имеет прямое отношение, так как тут тоже надо предвидеть, что станет с системой, скажем при DDoS атаке, если не хватит в памяти. SWAP может сервер спасти раз-два в год, но это уже большой плюс. Естественно, если администратор пользуется модным способом лечения проблем - принудительный reboot, то SWAP не нужен.

P.S. Оказывается умних много, только думать некому....

MIRhosting.com

10.04.2008, 04:09

Цитата(gylys @ 09.04.2008, 23:42)

По поводу количества SWAP, то моё предложение как раз имеет прямое отношение, так как тут тоже надо предвидеть, что станет с системой, скажем при DDoS атаке, если не хватит в памяти. SWAP может сервер спасти раз-два в год, но это уже большой плюс. Естественно, если администратор пользуется модным способом лечения проблем - принудительный reboot, то SWAP не нужен.

Когда сервер юзает 4 гига swap (нормальный сервер, речь не идет про какие-то спец. проекты и настройки, где как раз swap может пригодиться), то это уже будет настолько все тормозить, что ребут действительно будет просто быстрее выполнить.
Когда идет атака и сервер уходит в жуткий swap, то это ему уже не поможет и swap тут ничем не спасет, если только видимостью что сервер еще жив.
Но вобщем это не главное в этом топике, речь была о другом.

eSupport.org.ua

10.04.2008, 08:50

Цитата(MIRhosting.com @ 10.04.2008, 04:09)

Когда сервер юзает 4 гига swap (нормальный сервер, речь не идет про какие-то спец. проекты и настройки, где как раз swap может пригодиться), то это уже будет настолько все тормозить, что ребут действительно будет просто быстрее выполнить.
Когда идет атака и сервер уходит в жуткий swap, то это ему уже не поможет и swap тут ничем не спасет, если только видимостью что сервер еще жив.
Но вобщем это не главное в этом топике, речь была о другом.

Вам показать сервер где используется 6G swap при 4G ram и la 0-4 на дуальном ксеоне?

Задача - виртхостинг

MIRhosting.com

10.04.2008, 22:11

Цитата(eSupport.org.ua @ 10.04.2008, 07:50)

Вам показать сервер где используется 6G swap при 4G ram и la 0-4 на дуальном ксеоне?

Задача - виртхостинг

Ну речь изначально шла про virtuozzo ноду. Но тем не менее - можно узнать что занимает эти 6 гигов?

Подозреваю, что Вы что-то не договариваете.

p.s. думаю стоит выделить в отдельную тему. тема интересная, хотя боюсь скоро себя исчерпает, если конечно во флуд не ударяться.

Romanion

12.04.2008, 02:12

Цитата

[офтопик]
Знаю что шахматы учат предвидеть несколько ходов на перёд, и выгрывает тот, кто может дальше видеть. По поводу домино ничего не могу сказать, слыхал что это называетса "козла бить", значит много ума не надо wink.gif
[/офтопик]

По поводу количества SWAP, то моё предложение как раз имеет прямое отношение, так как тут тоже надо предвидеть, что станет с системой, скажем при DDoS атаке, если не хватит в памяти. SWAP может сервер спасти раз-два в год, но это уже большой плюс. Естественно, если администратор пользуется модным способом лечения проблем - принудительный reboot, то SWAP не нужен.

P.S. Оказывается умних много, только думать некому....

Честно говоря незнаю, как вы спасете сервер от ддоса, если система уйдет в swap на 3-4 гб. Вашим клиентам, будет всеравно сколько у вас swap, их сайты просто скорее всего не будут загружаться по timeout.

Цитата

Вам показать сервер где используется 6G swap при 4G ram и la 0-4 на дуальном ксеоне? smile.gif
Задача - виртхостинг

Мне лично интересно посмотреть, уверен, что там чтото нестандартное

eSupport.org.ua

12.04.2008, 08:58

Цитата(Romanion @ 12.04.2008, 02:12)

Мне лично интересно посмотреть, уверен, что там чтото нестандартное

Все стандартное, все гуглимо
[root@ultra www]# free
total used free shared buffers cached
Mem: 4137148 3971180 165968 0 108072 979320
-/+ buffers/cache: 2883788 1253360
Swap: 16048232 5648420 10399812
[root@ultra www]# uptime
09:55:29 up 13 days, 18:39, 2 users, load average: 0.58, 2.20, 2.99
[root@ultra www]# grep -c ServerName /etc/httpd/conf/httpd.conf
563
[root@ultra www]# ps ax | grep -c php5
1813

tont

21.11.2008, 20:33

Прошло полгода...
За это время был взят выделенный сервер примерно такого аппаратного состава: 512RAM, Pentium 3 1000MHz, 30 Gb HDD .
Запущено всё тоже самое, что и в первом посте темы, даже больше, но:

Код

# top
top - 20:29:57 up 20 days, 21:20,  1 user,  load average: 0.09, 0.03, 0.00
Tasks: 153 total,   1 running, 152 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.2%us,  1.1%sy,  0.5%ni, 95.1%id,  0.2%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    512940k total,   473740k used,    39200k free,    22524k buffers
Swap:  1052248k total,    77352k used,   974896k free,   211860k cached

Есть с чем сравнивать. Вопрос: неужели оверселлинг является нормой на VDS ?

lazutov

21.11.2008, 21:11

оверсел - не норма, а практичное решение(в размных пределах, конечно)

Ru-hoster.Com

23.11.2008, 12:08

Цитата(tont @ 22.11.2008, 03:33)

Прошло полгода...
За это время был взят выделенный сервер примерно такого аппаратного состава: 512RAM, Pentium 3 1000MHz, 30 Gb HDD .
Запущено всё тоже самое, что и в первом посте темы, даже больше, но:

Код

# top
top - 20:29:57 up 20 days, 21:20,  1 user,  load average: 0.09, 0.03, 0.00
Tasks: 153 total,   1 running, 152 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.2%us,  1.1%sy,  0.5%ni, 95.1%id,  0.2%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    512940k total,   473740k used,    39200k free,    22524k buffers
Swap:  1052248k total,    77352k used,   974896k free,   211860k cached

Есть с чем сравнивать. Вопрос: неужели оверселлинг является нормой на VDS ?

Но, как Вы можете определить загрузку по занятому РАМ на сервере? Это бред.
К примеру, Fedora заполняет всю RAM вне зависимости от объема того что есть. Ей хоть 2 Гб дай, будет свободно около 150Мб, хоть через 5 минут добавь еще 2Гб - все равно будет свободно ~150 Мб. Сам лично проверял

Смотреть надо на CPU и LA на сервере. У вас и то и другое минимально. Поэтому, вы зря брали сервер

gylys

23.11.2008, 13:30

Цитата(tont @ 21.11.2008, 19:33)

Есть с чем сравнивать. Вопрос: неужели оверселлинг является нормой на VDS ?

К сожелению да, и постоянно приходится убеждать клиентов, что не нужен ему дедик и что он чуть дешевле может получить впс с такими же параметрами. VPS на рынке так дискредитировали как услугу, что дальше уже некуда....

Незаметдинов Ринат

23.11.2008, 13:38

Цитата(Ru-hoster.Com @ 23.11.2008, 12:08)

К примеру, Fedora заполняет всю RAM вне зависимости от объема того что есть. Ей хоть 2 Гб дай, будет свободно около 150Мб, хоть через 5 минут добавь еще 2Гб - все равно будет свободно ~150 Мб.

Вообще-то дистрибутив тут как раз не причем, а вся доступная память отдается под файловый кэш, и "тормоза" возникают не от использования swap (что ранее показывал eSupport.org.ua), а когда не хватает файлового кэша.

tont

23.11.2008, 23:20

Цитата(Ru-hoster.Com @ 23.11.2008, 12:08)

Но, как Вы можете определить загрузку по занятому РАМ на сервере? Это бред.
К примеру, Fedora заполняет всю RAM вне зависимости от объема того что есть. Ей хоть 2 Гб дай, будет свободно около 150Мб, хоть через 5 минут добавь еще 2Гб - все равно будет свободно ~150 Мб. Сам лично проверял

Смотреть надо на CPU и LA на сервере. У вас и то и другое минимально. Поэтому, вы зря брали сервер

Заинтересовала последняя фраза.
1) По тем параметрам, которые в top, что можно порекомендовать в качестве замены этому серверу?
В первую очередь интересует примерная аппаратная конфигурация, а не датацентры и хостинги.
2) Хватит ли VDS с 256 Мб гарантированной RAM взамен этому серверу?

eSupport.org.ua

24.11.2008, 11:06

Поставьте на сервер Cacti, потом скиньте месячный график и Вам посоветуют

kpv

24.11.2008, 18:16

Цитата(gylys @ 23.11.2008, 13:30)

VPS на рынке так дискредитировали как услугу, что дальше уже некуда....

мультик есть про купца и скорняка, который ему шапку шил.
"а семь сошьешь?" на что получил утвердительный ответ. ну а то что голова купца покрылась ровным слоем семи шапок - это примерно такие же ожидания клиентов, которые пытаются тяжелые задачи, с которыми не справляется и целый сервер запихать на маленький кусочек физического.
Ну а кто знает что такое несколько впс на одной физической машине и выбирает впс-ки под задачи (или тестирует впс перед заказом) - те счастливо пользуются.

tont

24.11.2008, 18:52

Тут дело в другом: VDS с 512 Ram постоянно ругалось на нехватку памяти. На дедике с этим же количеством памяти ещё и лишняя остаётся.
Сегодня лазил по форуму днём с КПК и нарвался на тему оверселлинга на этом форуме. К сожалению, не помню где откопал. Там было написано, что оверселлинг является нормой, но только в том случае, если он не ущемляет других пользователей реального сервера.
По первому посту в этой теме, кто-то сказал, что всё же мне не додают ресурсов.
Вот теперь и думаешь, что делать: либо переплачивать за дедик, так как, проблем с памятью нет (тут то она точно гарантированна), либо взять VDS, но без каких-либо гарантий.

eSupport.org.ua

24.11.2008, 20:35

Берите VDS с гарантией
На XEN