16 мая 2014 г.

Можно выдохнуть

Работы по борьбе с потопом завершены.
Всё работает в штатном режиме.

Нам сегодня помогало очень много людей, надо отдать должное работникам института, которые нам оказали много важной помощи.
Весь состав студии до вечера занимался наведением порядка.
Начиная с 16:00 я занялся восстановлением всего, что было отключено. Пришлось много времени потратить на поиск неисправностей системы.

К 22:00 была восстановлена вся структура сети и возобновлены работы по рендеру.

Я считаю, что мы отделались "легким испугом", если бы НЕ сигнализация, то сегодня бы пришлось оплакивать гораздо больше железок.

Срочно пришлось заменить на новое:

  • сетевой коммутатор (свичь на 24 порта)
  • роутер
Скорее всгео придется серьезно ремонтировать один из серверов, тот самый render09. Есть подозрения, что материнская плата не выдержала потопа, если так, то общий ущерб не превысит 50т.р.

Боялись, что будет больше.


Сушим вёсла!

Жаркая пора, пытаемся сделать очеродной подвиг для нашего доборого клиента - Алексея.
Что-то пошло не так.

Весь вечер и пол ночи боролся с глюками рендера, отловил "заразу" и только хотел ударить в ладоши, как раздался телефонный звнок (3 часа ночи)

- Доброй ночи, у вас сработала сигнализация.
- ????
- Да, охрана говорит, что слышит шум воды, у вас там нет случайно водопровода.
- Водопровод есть, но мы его не используем, просто кран в стене, он не может протекать.
- Течет видимо сверху...
- Вы знаете, над нами кабинет директора института. Пару раз у него там что-то подтекало, проверьте пожалуйста.
- Вы не хотите к нам приехать?
- Вряд ли это сейчас возможно.

Несколько минут назад я работал с нашим офисом через TeamWeawer. После телефонного разговора я вернулся к компьютеру, связи нет.... (блин, а еще и render09 отрубился... не с проста всё это...)
Это может означать одно - что-то пошло не так.
Видимо это не просто "кап-кап", как было ранее...

Взял такси. Ночью обходится это очень не дорого и быстро возят (игнорируя все светофоры, перепугался малость, но зато быстро).

На проходной №1 мне сразу сказали: "Проходите, там все открыто, вас ждут."

Я побежал к офису.
Много людей с фонариками, все что-то делают- высматривают, но в помещение не заходят.
Вокруг помещения лужи...

Я зашол в офис, попытался по привычке включить свет. Свет стал мерцать и я сразу же его выключил. Было очень темно, но стало понятно, что некоторые потолочные плитки набухли от воды и рухнули. Гитара у входа стояла вся в "слезах", под ногами хлюпает вода. Линолеум вспучился, много луж.
Компьютеры все работали, все кроме render09.

С потолка шол методичный дождик по всей площади потолка, вообще по всей. В главной комнате, в серверной, в тамбуре, в кладовке - везде.

Всё мокрое...

Чудом осталась сухой раскладушка, загримерованная под кресло.

Я срочно выключил все машины (выключал жёстко, слишком высокие риски), выдернул все вилки из розеток и выключил все пакетники.
То есть произвел тотальное выключение питания.

Дождик продолжал капать, не смотря на то, что в кабинете директора уже всё перекрыли.
Подписал всякие важные акты и протоколы, поехал домой.

Завтра с утра студия НЕ будет рисовать красивые картинки. Будем наводить порядок и постепенно запускать машины.

Есть еще шанс, в который я очень верю - не подвести Алексея.
Обдумываю как справится с ситуацией.