… on the other hand…

Don't click here!
The Turtle
My CV.

Неделя была прекрасная

by Dima on 11/16/2012

Отличная неделька выдалась.
Понедельник.
Перестал работать сервер.
По SSH авторизует, но не пускает.
Перезагрузили – не поднялся. Подключили KVM – 502 ошибка RAID’а. Timeout и все лежит.
И перезагружаться перестал. Сервер древний и очень дешевый. RAID – Adaptec 2020sa.
Попросили администраторов дата-центра поправить провода в сервере. Пока сервер переносили и открывали перестал работать блок питания. Видимо уже плохо работал, и RAID не работал из-за этого.
Начали искать, где купить.
Вторник.
Нашли контору, которая сможет как-то привезти блок питания. В среду.
Серверу оставалось жить три дня. После этого его собирались выводить из эксплуатации. Не дожил.
Ждем блок питания. На нервах.
Часть сайтов удалось перенести, но все равно беда.
И да, бэкапов нет. После нескольких переездов и переделок еще не успели поставить на бэкапирование. Тем более, сервер почти выведен из эксплуатации.
Среда.
Блок питания приедет с 15 до 18. Но уже выехали и едет к нам. Это информация на 12 часов. В 19:30 придет человек на собеседование.
Ждем. Пытаемся оценить масштабы бедствия.
15 – нет информации.
16 – нет информации.
В общем, почти в 18 пришла бабулька с блоком питания и сказала, что бежала как могла быстро.
Бегу в датацентр, ставим блок питания. Запускаем – работает.
Переносим в стойку, запускаем. Сайты поднялись. Выхожу. По пути узнаю, что проблема с RAID’ом не устранилась.
Но надо в офис на собеседование.
Еду в офис. Пробежка от метро до офиса.
После собеседования прошу KVM и долблюсь головой об сервер. Иногда сервер загружается, дает посмотреть на сайты и опять рушится. Пытаемся с админом спасти хоть особо критичные сайты.
В 20:30 начинается трансляция лекции Юлиуса Поппа. На нашем сервере сайт hybridart.ru, где размещен плеер с трансляцией. Проблем не предвидится, народу обычно на сайте совсем мало, потому даже не обращаю внимание на это. Внезапно звонок о том, что все работает медленно. Смотрим. DDOS. Не очень сильный, но этому серваку хватает. Канал в 100 мегабит забит на 100 процентов. Боремся с атакой.
Продолжаем возиться с сервером.
В третьем часу ночи еду домой. К трем ложусь спать.
Четверг.
Встаю в 7 утра. Неудачно. В 8:14 вскакиваю, привожу себя в порядок и выбегаю.
Сегодня день рождения жены.
В 10 я в дата-центре. Жду админа. Прошу коллегу привезти акты, чтоб забрать мертвый сервер.
Пытаюсь реанимировать.
Админа не хотят пускать без доверенности. Прошу все же подъехать.
Приезжает коллега, забираю бумаги, приезжает админ.
Еще раз прошу пропустить админа. Пропускают.
Мучаемся с сервером, в это время заполняю бумаги.
Если при загрузке нажать Pause, подождать и зайти дальше, то BIOS RAID’а глючит и можно зайти в BIOS компа.
Без Adaptec’а диски нормально находятся.
Толи плата умерла, толи один из дисков, толи канал где-то сбоит.
Через некоторое количество манипуляций случайно выводим один диск из RAID’а. Не факт, что сбойный. RAID пятый, потому не критично, но больше ошибаться нельзя.
Решаем забирать сервер. Начинаю заполнять бумаги, но при этом пробую последний раз что-то сделать.
Зато теперь все гарантировано грузится. А потом гарантировано падает.
Звонят из офиса. Все плохо и надо что-то делать. Подключаю ноутбук. Испраляем текущие проблемы. Абсолютно неожиданные, но не сложные.
Добавляем диск в RAID. Вроде все оживает и грузится. Вроде даже дает начать что-то делать. Но ненадолго. Опять все падает.
Загружаемся в single mode. Rebuild RAID’а не запускается, диски работают. Стараясь не дышать поднимаем сеть и начинаем переливать сайты на один из серверов. Долго. Очень долго.
Продолжая не дышать запускаем SSH. Работает.
Просим KVM и перенести сервер в стойку. Там есть внутренняя сетка между серверами. Да и оставить можно.
Запускаем SSH, запускаем копирование. Стараясь не дышать выходим.
Уже 2 часа. Хотел уйти в четыре из офиса, чтоб отпраздновать ДР жены. Явно не выходит. С 4-х празднование переносится на пол-восьмого.
Но уже можно расслабиться.
Пятница.
Рано расслабился. Ноутбук перестал работать. Вернее, умер экран и USB. Клавиатуру не подключить, мышку не подключить.
Сижу за огромным 3M’овским touchscreen’ом руки спрятаны в полу-закрытый ноутбук. Очень удобно.
А еще и думать, что с этим делать. Планов покупать новый ноутбук вообще не было.
Работаю и жду вечера. Надеюсь, после такой недели произойдет что-то, что полностью компенсирует настроение недели.

One thought on “Неделя была прекрасная

  1. keith flint says:

    ого жестяк. не могу ничего посоветовать, но соболезную 🙂

Leave a Reply

Your email address will not be published. Required fields are marked *