Денек (понедельник)

Все началось в воскресенье.

1. Слетели зоны где-то у 30% доменов сразу на двух физически разных серверах.
2. Узнать у каких доменов нельзя тулза которая чинит – чинит все домены по алфавиту или по одному руками. Тулза работает где-то часов 12 если облажается то все сначала. Тем редким юзерам которым хватило ума вместо свои страданий про то как они пойдут в суд и отсудят 100 миллионов баксов написать домены которые не работают (не используя мыло доменов которые не работают) все починил, сидел над сервером до последнего пошел пока не заснул.
3. Проснулся в понедельник и тут все началось. У этой гадины из-за того что лежали ДНС засрались логи кончилось место в вар и он сел на попопу уже понастоящиму.
4. Я стремясь отчистить место на диске заделал неловкое движения и снес базы мускула. Вспомнил что там должен был быть мой билинг пошел смотреть бекап. О чудо именно в это день бекапный винт накрылся медным тазом. Проверил билиг оказалось, что перенести его на супер надежный сервер я не успел, у меня только мой форум фиг с ним.
5. Начали звонить юзера вместо звуков хрюкание – то есть что они хрюкают итак понять сайты почта не работают и т.д. а где и именно я разобрать не возможно. То что их просят написать почту они прекрасно слышат но делать этого принципиально не хотят. Либо пишут с мыла с доменов которое не работает и продолжают звонить.
6. Скрипт - работает с начала алфавита и до обеда от гад фиксает то что итак работает. Юзера начали приползать в офис групами по 3-4 юзверя с воплями 4-сутки – каждый день целый месяц - не работает сайты. Телефон отключил нафиг.
7. После обеда вылазиет вип клиент/партнер (у него 4 утра) у него полетел хард на постовом серверере. Параллельно переношу его почту на другой.
8. Звонит – жена – нас затопили соседи.
9. Доделываю че могу еду домой.
10. Дома вода - все выключаем, одна комната осталось целой в ней и живем, инетрнета в ней нет и я не знаю что у меня идет спам, а человек который обслуживает мою тех площадку в штатах и должен был заменить винт вывихнул колено и поломал копчик...

Вторник - телефон починился сам собой вит к сожалению нет Пришли письма от тех юзеров которые писали с тех доменов которые не работают.

Присоединяюсь, у меня день был аналогичный, только детали нет смысла выкладывать

Насыщенная жизнь!
Желаю удачи, и чтоб больше не ломалось.

PS. можете пинать, но, наверное, за это и нужно любить жизнь - за разнообразие

вы затопили соседей?

понедельники взять и отменить!

Вот что бывает, когда нет кластера!

Везение утопленника

Можно подумать, у вас все сервисы в кластере, чтобы так говорить.

Жуть... Поменьше бы таких дней, если уж никак без них не обойтись

А зачем думать - посмотрите мое давнее выступление на ХО

Максим, хорошая новость: есть подозрение, что сумма неприятностей за год - константа .

не верю.
а ТС очень сочувствую.

впечатлило!
раз остались силы написать этот пост, значит капец не совсем полный

Вот что именно? В существование файловер кластеров или в интеграцию DA?

Да, клиенты очень любят писать с неработающих доменов и ждать ответа...
Это их фирменная фича.

Только я не очень понял, почему письма-то не дошли, если проблема в том что зона слетела?

дошли наверное просто позжжже как бы.

PS. вообще по части понедельника у меня за последние годы сложилось стойкое обсуждение что это день когда все вебмастера начинают ковыряться со своими сайтами. Ну есть конечно уникумы которые в субботу или воскресенье глубокой ночью (и не только для суппорта но и для них самих) хотят обязательно к утру что то сделать но, все же понедельник самый сумасшедший день из всех. И серваки почему то падают по ощущениям в понедельник.

Имхо в чем-то правы Вы в этом.
С одной стороны, почти все знакомые прогеры в офисах берут работу "на дом" на выходные, по утру понедельника приходят в офис, получают одобрямса от начальства и давай заливать сделанное.
С другой стороны, у нас много клиентов хостится у "крутых лицензионных хостеров" у которых есть одна "уникальная особенность" (без которой наверное лицензию не дают), что добиться от них можно что-то только в рабочие часы рабочих дней. Вот и приходится зачастую ждать понедельника.

На добыло с кем-то поделиться чтобы не сойти с ума.



Кластер может спасти от апаратных сбоев а вот от программных, к сожалению нет, два одинаковых неймеда перестали понимать свои дурацкие фалы журналов на двух абсолютно разных серверах в разных датацентрах.




Я вообще не знаю как они дошли если зона слетела. Наверно их почтовик в отдельном кеше ИП держит отдельно от броузера.

// оффтоп
Вы еще подеритесь по этому поводу.

Один работает как мастер, а второй - слейв
Если слетает мастер, то слейв живет

Это так в теории. На практике если первый, например не лежит, а отдает бред то второй никто не спрашует.

Но разная для каждого года.

Но в данном случае именно проблема была в том, что первый лежал.

Нет, не лежал. Просто перестал понимать свои же файлы журналов для некоторых зон (30% от общего количества - на глаз).

А почему они не должны были дойти-то?! Это же ИХ зона, не ваша. А их домен - это просто адрес в поле From, не более того.

Как я понимаю, они должны были коннектиться на mail.ихдомен, чтобы отправить письмо?

Кстати, вот именно подобная ситуация была - поломались конфиги неймеда и неймед попросту упал и перестал запускаться. Конфиги ремонтировались вручную часов 12 наверное (скрипты типа fixnamedviews, fix-еще-чего-то-там не помогали).
Однако домены не по отваливались за это время - в Cpanel есть классная штука, DNS Clustering (в принципе на других панелях наверное тоже есть подобное, либо есть отдельные скрипты), смысл в том, что ДНС-ы наши, это два отдельных независимых сервера (в данном случае VPS) и если сломался один - второй продолжает исправно работать. Максимум к чему приводит такая поломка - рассинхронизация изменений, произведенных клиентами в течение периода, когда существовала поломка. Это лечится в разделе Synchronize DNS Records.
Так-что можно сказать, кластер (конечно не все сочтут это кластером, но тем не менее Cpanel назвала это именно Cluster) в данном случае спас и от ошибки программной.

P.S. Но и глюков, связанных именно с существованием такого вот "кластера" тоже было немало, хотя это скорее сисадминская небрежность - при переносе аккаунтов с сервера на сервер, нужно своевременно удалять аккаунт со старого сервера