IT + Авария

Дисклеймер: история не претендует на оценку подхода к резервному копированию, организацию крупных проектов и прочую профессиональную аргументацию, а просто рассказывает о чувствах и эмоциях участников события.

Вспомнилась поучительная история из жизни с одной из моих первых работ. Было это в городской администрации города Х. Нашему городу торжественно поручили районный пилотный проект а-ля «госуслуги», но тогда ещё таких систем не было на уровне страны. Проделали большую работу, оцифровали сотни тысяч персональных данных, миллионы документов всех муниципальных ведомств, больницы, школы, сады. В общем сделали в одном небольшом городе настоящий правильный электронный документооборот и никаких бумажных копий. Все это дело несколько раз в день бэкапилось, в том числе ежедневно по утрянке на отдельный хард, который увозили в соседний город в центр обработки данных, чтобы и там хранить на всякий апокалиптический случай.

Как щас помню, пятница, утро. Человек забрал диск, перекурил с дежурными Админами и ушел на парковку чтобы отвести диск с полной копией. Там ехать минут 10… Но ща не об этом. Через несколько часов начали поступать звонки, что базы недоступны. Если коротко: кто-то с достаточно большим доступом поймал вирус-шифровальщик и он начал жрать всё что видит. Документы, справки, постановления, истории болезней, штрафы, контрольный работы 9-Б класса. ВСЁ! К тому моменту как это поняли все базы были безвозвратно протеряны.

Руководитель Админов доложил мэру что беда пришла, но мы к этому готовы и все будет ок. Перекурив, Админ вернулся в кабинет (я там был в этот момент), достал телефон и набрал центр обработки где хранятся полные копии. Рассказал ситуацию, потом молчал и слушал ответ. Вы когда-нибудь видели, как парень 27 лет с темноволосого превращается в седого за несколько минут? Я думал такое только в кино бывает! В ЦОДе сказали, что на них прошла целевая атака и все наши копии тоже убиты вирусом. Соответственно, включая ту, что уехала утром. Мне кажется у Админа ВОТ ТАКОЙ рубец на сердце образовался в этот момент. Мы просто сидели молча.

Мне позвонил главврач, пожаловался, что работа стоит, а скорая кричит и топает ногами! Спрашивают: «Как нам принимать людей? По старинке на листочке? Вот возьмем вашего коллегу и не примем пока не восстановите базу!» Чо? Какого коллегу? Человек с диском не доехал до ЦОДа и попал в ДТП. Диск уцелел и из него всё восстановили. А мы, кажется, уже не будем прежними.

P.S. Водитель в ДТП получит легкие повреждения, даже без переломов и в тот же день был отпущен домой.

Опять история из санатория. Напомнил про неё мне этот коммент:

Знакомая, работавшая на большом заводе (там по территории автобус ходил), рассказывала: на запрос ИТ-шникам вроде "комп не включается" ответ был примерно "ну, приносите".

Сразу после устройства туда сразу начальником IT у меня первое время (недели две) не было даже кабинета. Так, сидел где-то в уголку со своим нетбуком и потихоньку ковырялся в том что есть, смотрел что как устроено. Два админа, которые там уже работали - были старше меня так заметно. И уже работали несколько, скажем так, не опреативно. Я в их работу пока не лез - смотрел что как.

И вот, в один день, у девочки (Д) из бухгалтерии случается беда. Винда не грузится, на экране стандартная надпись типа "Поврежден системный файл, вставьте диск с дистрибутивом windows, загрузитесь с него и нажмите win+r". А я рядом оказался. И админы (А) как раз подошли.

Посмотрели они на надпись...

А:- А, ну понятно. Ща системник заберем и пойдём чинить

Д:- И как долго? Мне работать надо

А:- Ну не знаем, дня два, может три....

У девочки глаза резко расширяются, думаю - пора.

Я:- Так, мужики. Видите что написано?

А:- Видим, ага. Хрень какая-то.

Я:- Возможно. А может и нет. Диск с виндой есть?

А:- Да всё равно не поможет!

Я:- Пробовали?

А:- Нууу, когдато...

Я:- Несите диск

А:- Да всё равно забирать придётся!

Я:- Несите диск!

Ушли. Я девочке сообщаю что могут и не сойтись звёзды, но попробовать стоит. Говорю что системник всё равно потом надо будет забрать как можно быстрее, желательно прямо завтра. Она говорит что непротив, только работу текущую доделает да некоторые документы текущие на флешку скинет и потом сможет продолжить на другом компьютере.

Приносят диск. Говорю - садитесь кто нибудь за клавиатуру и делайте что написано.

Один садится, вставляет диск, грузится с него. Когда на экране появляется предложение запустить восстановление - жмёт win+r. Минут пять оно чтото копирует, потом перегружается. В винду.

Я:- Вот, а вы говорите два-три дня. Два-три дня это очень много. Даже если совсем всё плохо - винда ставится за полдня на новый диск включая настройку и еще час на переброс документов. И это еще неспеша и с перекурами. Сейчас вот  Марина закончит свою текущую работу, завтра заберете системник и проверите диск об mhdd. hdd запасные есть?

А:- Нету

Я:- Значит если бэды на диске есть то маякните мне, я организую закупку. Если нет - то и хорошо. В любом случае верните системник после проверки сразу.

Поворачиваюсь к девочке

Я:- Если диск аварийный то придётся какое-то время хранить важное на флешке. Да и вообще за сегодня постарайся вытащить с компа всё своё на всякий случай.

Девочка довольна, админы поняли что я не просто сын подруги коллеги на передержке, я заимел начальный авторитет.

Что там с диском было - уже не помню. Вроде как целый оказался всё-таки.

В 2007 я работал админом в местном банке. У меня была серверная кубов на 12, в которой стояла стойка с парой серверов и прочей мелочёвкой. В ней же был мой кабинет. Когда я оборудовал серверную - запросил кондиционер. Сказали - пока зима - не жарко а к лету купим. Повозмущался немного конечно, описал последствия, но начальство с позиции не сдвинулось.

Наступает лето. Кондиционера нет. Температура серверов зашкаливает, в районе 50-60. Открытое окно с вентилятором не помогает. Опять иду к начальству. Говорят - чуть попозже. Окай, жду пару дней, снова иду, снова описываю последствия. "Попозже". А мне железо то жалко. Да и сервант если станет - амба банку то. А мне мой кабинет нравится.

Что-ж. Сами вынудили.

В очередной день утром настраиваю одноразовый таск на выключение сервера через 10 минут после начала обеда. В обед - сваливаю погулять.

Ожидаемо - звонок "Ничего не работает!". Говорю, что минут через 40 буду. Через 15 минут уже звонок от руководства - "Бросай всё, надо срочно чтототам." Говорю - окай, скоро буду.

Прихожу, минуты три ничего не делаю, запускаю сервер. Иду к руководству. Говорю что сервер выключился потому что жарко, сработала защита. Но, к счастью, данные целые. Опять прошу кондиционер. "Чуть-чуть попозже", говорят.

Через день повторяю схему с обедом. Опять звонки, руководство, разговоры про кондиционер. Клятвенно обещают через день поставить. Начинаю ходить к руководству каждый день и при любом удобном случае вспоминаю про кондиционер. Через два дня показывают мне документы о том что кондишн в заказе, а еще через день мне его устанавливают. Сервера греться перестают, жопа удаляется за горизонт.

До сих пор считаю, что поступил правильно. Лучше штатно провернуть эмуляцию аварии, чем получить аварию настоящую.

Ну и напоследок - моё тогдашнее рабместо :)