Проект «Феникс». Роман о том, как DevOps меняет би - Страница 57

По тексту письма Дика, понятно, что сам он просто в ярости и весь его отдел курит одну за одной, пытаясь отследить ошибки на всех уровнях.

...

От кого: Дик Лондри
Кому: Стив Мастерс
Копия: Билл Палмер
Дата: 18 сентября, 15:11
Приоритет: Самый высокий
Тема: СРОЧНО НУЖНО ДЕЙСТВОВАТЬ: потенциальное недовыполнение плана на 50 млн долларов из-за ошибки IT

ВСЕ СЧЕТА КЛИЕНТОВ ЗАВИСЛИ ИЛИ ПОТЕРЯЛИСЬ В СИСТЕМЕ, МЫ ДАЖЕ НЕ МОЖЕМ ВРУЧНУЮ ВОССТАНОВИТЬ ИХ, ЧТОБЫ ОТПРАВИТЬ ПО ПОЧТЕ!
Мы пытаемся выяснить, как мы можем восстановить нормальные бизнес-операции. В системе зависло счетов примерно на 50 млн долларов, и мы их недосчитаемся в этом квартале.
Пусть твои IT-работнички починят это. Такую дыру в квартальном отчете нам никак не спрятать, и даже объяснить будет сложно.
Позвони мне, Стив. Я буду ждать на подоконнике.

Нас всех собрали в переговорной NOC. Я доволен тем, что, заканчивая описывать инцидент, Патти быстро проговаривает все относящиеся к делу изменения, осуществленные за последние 72 часа.

После того как она закончила, я говорю, обращаясь ко всей команде: «Во-первых, прежде всего нужно оценить риск потери всех транзакций. Леди и джентльмены, я хочу быть максимально ясным: НИЧЕГО НЕ ТРОГАЙТЕ, НЕ СОГЛАСОВАВ ЭТО СО МНОЙ. Это не такой сбой, с которым мы имели дело раньше. Сейчас мы действительно можем потерять очень большое количество данных. Это меня пугает. И вас это тоже должно пугать.

Как и сказала Патти, нам нужны все ваши предположения о том, что вызвало сбой системы выставления счетов, – говорю я. – Это момент из Аполлона 13, а я Джин Кранц, теряю контроль в Хьюстоне. Я не хочу играть в угадайку. Я хочу гипотезы, основанные на фактах. Поэтому посмотрите на свои экраны, найдите данные, и я хочу услышать ваши лучшие идеи. Провал в этом случае не вариант».

К 18:00 команда Патти задокументировала больше двадцати потенциальных причин сбоя. После дальнейшего расследования осталось только восемь наиболее вероятных причин. Теперь другой отдел должен был рассмотреть каждую из них.

Понимая, что мы как группа ничего больше не можем сделать, пока они не закончат свое исследование, мы договариваемся собраться снова в 22:00 сегодня вечером.

С одной стороны, я расстроен, что снова мы потратили весь день на незапланированную работу. С другой – я чувствую глубокое чувство удовлетворения от того, как мы провели расследование, и быстро пишу Пэйдж, что ненадолго приеду на семейный ужин.

«Папочка», – слышу я, сидя на кровати с Грантом, пытаясь уложить его в постель и разобраться с мыслями о сбое.

Улыбаясь ему, я отвечаю на бесконечные вопросы моего трехлетнего сына. «Почему у паровозика Томаса такой мотор?» У нас есть ритуал чтения книг на ночь. Я рад делать это снова, как раньше делал каждый вечер. До «Феникса».

Большая часть света уже выключена, горит только один ночник. На кровати Гранта куча книг, и мы читаем уже третью за ночь.

У меня начинает рот высыхать от чтения. Мне нравится, как любопытны дети и то, как они любят книги, но бывали вечера, когда я настолько уставал, что засыпал прямо во время чтения. Когда моя жена заходила в комнату, находила меня, спящим на кровати Гранта с книгой на лице, и самого Гранта, пристроившегося рядом со мной.

Несмотря на то как я устал, я благодарен за то, что сегодня я рано дома и могу провести свой ритуал со старшим сыном.

«Нужно обязательно разобраться, папочка», – настаивает Грант. Я улыбаюсь ему, достаю телефон из кармана, собираясь забить в поиск Google «томас паровозик и его мотор».

Но сначала я быстро проверяю почту на телефоне. И сам удивляюсь, как все изменилось за две недели.

Во время первого срочного инцидента со сбоем в системе расчета зарплаты на нашем первом собрании все только показывали друг на друга пальцами, открещивались от проблемы и, что самое важное, тратили время наших клиентов, не в силах вернуть им деньги.

...

У НАС РИТУАЛ
ЧТЕНИЯ КНИГ НА НОЧЬ.
Я РАД ДЕЛАТЬ ЭТО
СНОВА, КАК РАНЬШЕ
ДЕЛАЛ КАЖДЫЙ ВЕЧЕР.
ДО «ФЕНИКСА».

В конце концов, после серии попыток выяснить, что произошло на самом деле, мы собрались, чтобы обсудить идеи о том, как это предотвратить. Кроме того, Патти провела серию звонков, оповещая всех о новых процедурах. Было приятно смотреть на это. Даже Вэс оценил.

Я был доволен, оценив по письмам в почте то, как эффективно шла дискуссия между командами, решающими проблему. Они поддерживали связь через конференц-звонок и открытую переговорную, и я решил позвонить позже, в десять, чтобы узнать, как идут дела. Это будет еще через сорок пять минут. Еще кучу времени могу провести с Грантом, который уже скоро заснет.

Он пихает меня, ожидая ответов на свои вопросы.

«Извини, Гранти. Папочка рассеян», – говорю я, открывая поисковик.

Я удивлен, как много результатов по запросу «Томас паровозик». Это серия книг, породившая мультимиллионную индустрию игрушечных паровозиков, одежды и видео. Учитывая, что у нас двое сыновей, скоро у нас этим будет завален весь дом.

Я читаю многообещающее описание паровозов на «Википедии», когда мой телефон начинает вибрировать и на нем отражается «Звонок от Стива Мастерса». Я ворчу и дважды проверяю свои часы. Сейчас 21:15.

За последнее время у нас со Стивом состоялось уже слишком много встреч и звонков, и я спрашиваю себя, сколько еще я смогу вынести.

С другой стороны, после полного провала «Феникса» любой сбой и происшествие кажется пустяком.