Очередная плановая победа «Сбербанк Технологии» – релиз IT-системы

Если на календаре – День Победы, то обязательно будет парад и салют. Но если в праздничный вечер, проезжая мимо Даниловского форта, Вы заметите людей, входящих в здание офиса, и увидите горящий в окнах свет, не удивляйтесь.

Это значит, что в «Сбербанк Технологии» проходит завершающий этап Планового Интеграционного Релиза (ПИР), а полуночники, которых вы видели, – сотрудники, участвующие в ПИРе. В ночь с 9 на 10 мая команда четных ПИР одержала очередную победу: внедрение ПИР14 прошло успешно!

В ночь с 9 на 10 мая кабинет Алексея Морозова, директора Дирекции релизов «Сбербанк Технологии», превратился в координационный центр, больше напоминающий Центр управления полетами.

Именно отсюда члены команды ПИР 14 – Андрей Паутов, начальник отдела управления интеграционными релизами, и две хрупкие девушки – Мария Солдатова и Катерина Напольских – координировали работу всех участников ключевого этапа релиза – обновления Корпоративной сервисной шины и АБС Гамма.

ИТ-система Сбербанка – это сложнейший механизм, напоминающий по масштабу космический корабль. Все системы в этом механизме тесно связаны друг с другом и должны работать слаженно и бесперебойно, ведь услугами Банка ежедневно пользуются миллионы людей, а даже минимальный простой критичен для пользователей и клиентов. Поэтому 4 раза в год этот корабль проходит «техосмотр», и системы обновляются. Такой «техосмотр» проводит Дирекция релизов «Сбербанк Технологии», и называется он Плановый интеграционный релиз (ПИР). ПИР затрагивает все важнейшие системы Сбербанка, и во время обновления они недоступны для пользователей. Именно поэтому ключевой этап релиза проходит, как правило, в ночь с субботы на воскресенье. ПИР14 совпал с празднованием Дня Победы: ключевой этап прошел в ночь с 9 на 10 мая. И это символично, т.к. каждый ПИР – это победа для всех его участников.

На доске начерчены большая таблица с названиями территориальных банков Сбербанка и этапами обновления и две маленьких, по миграции Корпоративной сервисной шины и Гаммы. К рассвету они будут заполнены.

Мария Содатова: Подготовка к обновлению Корпоративной сервисной шины и Гаммы шла 2 недели. В течение этого времени мы собирали протоколы приемо-сдаточных испытаний и нагрузочных тестирований, уточняли возможные риски у руководителей проектов и разработчиков. Были и сложности, – положительный протокол нагрузочного тестирования по Корпоративной сервисной шины мы получили только 7 мая.

Координация работ участников обновления Корпоративной сервисной шины и АБС Гамма

23.00. Менеджеры ПИР14 проводят по ТКС с символичным кодом 911 перекличку с ответственными в тербанках и администраторами АС. Администратор Корпоративной сервисной шины сообщает, что обновление Шины отстает на 15 минут.

М.С.: Для связи на время обновления мы используем Skype, Lynk, ТКС и почту. В скайпе находится официальный протокол для руководства «Сбербанк Технологии» и IT-блока Банка (все начальники управлений, разработки, IT-блока), туда мы сообщаем ключевые вехи Релиза: какие работы начаты / закончены, какие проверки проведены. На ТКС 911 – все администраторы Систем (они отчитываются раз в час о ходе работ по системам), ответственные в тербанках (также отчитываются о ходе обновлений в ТБ).

В Lync администраторы обмениваются логами и RQ ID в случае, если возникают какие-то системные ошибки. Так удается быстрее решать проблемы. Утром проверку функциональности обновленных систем продолжат сотрудники ЦСКО. Результаты этой проверки покажут, успешно ли завершено внедрение ядра нашего ПИР.

23.30. На сайте Сбербанк Онлайн нет объявления для клиентов о временной недоступности сервисов. Администраторы Сбербанка ОнЛайн сообщают, что в текущем Релизе практически все сервисы для клиентов Банка останутся доступны на время обновления. Такое в ПИР впервые.

М.С.: До 14-го Релиза мы принимали заявки на участие в ПИРе по почте. Это очень неудобно, т.к. по каждому ЗНИ нужно заполнить чек-лист из 50 пунктов. Мы провели автоматизацию, и с 15-го ПИР фиксация заявок проходит в АРИАДНе. Там же РП может посмотреть, принята или нет заявка, увидеть замечания и доработать ЗНИ. Теперь не нужно каждый раз звонить Менеджеру ПИР и спрашивать, принята или нет та или иная заявка. Конечно, не всем нравится этот порядок, т.к. в АРИАДНу не у всех пока есть доступ и работе с системой нужно учиться. Но такая автоматизация действительно облегчает работу всех участников процесса, и мы надеемся на понимание коллег.

00.00. Контрольный прозвон по ТКС 911. Работы Гамма идут по плану. По Корпоративной сервисной шины сохраняется отставание в 10-15 минут.

М.С. В ПИР14 участвует 57 систем. В начале подготовки мы определили ядро – ключевые системы, под которые будет подстроено обновление всех остальных. Ежедневно проводили ТКС с администраторами проектов, запрашивали статус прохождения ПСИ по каждой системе и зависимости, которые существуют между системами, чтобы не было конфликтов или простоев. Например, сегодня мы планировали внедрять еще обновления Сбербанк ОнЛайн, но у системы много рисков, поэтому мы решили провести внедрение отдельно.

00.39. Один из сотрудников территориального банка задает вопрос о работоспособности ЕРИБ во время работ по КСШ. Администратор отвечает, что ЕРИБ останется доступным, но операции будут идти с задержкой.

М.С.: В процессе подготовки и в самом ПИРе принимает участие колоссальное количество людей – около 300. Сегодня ночью с нами на связи будут больше 100 человек. Наша задача – всех скоординировать и по максимуму облегчить взаимодействие всех подразделений. Для каждого ПИРа мы делаем карту коммуникаций штаба внедрения, где указаны все ответственные лица с контактами, рассылаем памятку, в которой написаны все этапы обновления, правила пользования ТКС и многое другое. Наша главная задача – внедрить ПИР строго по графику и без ошибок.

00.50. Перекличка сотрудников территориальных банков Сбербанка по ТКС 911. Все тербанки на связи.

М.С.: ПИР14 проходит в стыке с обновлением «еКП». Мы начали свои работы только после того, как еКП закончили свои. Обе системы ключевые, а количество ресурсов администраторов систем ограничено. Поэтому мы тщательно синхронизировали с администраторами АС планы работ, команды обменивались контактами, чтобы каждый понимал, кому звонить в случае задержек или сбоев, с кем взаимодействовать по возникающим вопросам.

00.59. Администратор Корпоративной сервисной шины сообщает, что миграция системы завершена.

М.С. Сначала мы делаем проверки каждой обновленной системы, а потом, когда все системы проверены, начинаем интеграцию. Раньше версия КСШ обновлялась долго, около 6 часов. Сейчас этот процесс гораздо быстрее – всего 2 часа. В обновлении принимают участие все 17 территориальных банков и все работают по московскому времени. На ТКС 911 подключается по 3-4 ответственных от каждого ТБ, они отчитываются об этапах обновления, сообщают о возникающих проблемах, могут задать вопрос администратору системы и Менеджеру ПИР.

01.00. Начаты обновления Корпоративной сервисной шины в тербанках. Представитель каждого территориального банка по ТКС сообщает о начале работ.

М.С.: ПИР постоянно развивается. Мы видим, что степень доверия к ПИРу возрастает, все больше людей хотят принимать участие в этом процессе. До появления ПИРа была постоянная путаница из-за того, что системы обновлялись по отдельности, не было графика внедрений. Приходилось постоянно делать регрессионное тестирование, это занимало много времени и требовало участия многих людей. Когда ПИР появился, к нему отнеслись настороженно. Приходилось уговаривать, доказывать, что участие в ПИР – это хорошо и удобно. Сейчас отношение Бизнеса к нам очень изменилось: если РП предлагает обновляться без ПИРа, заказчики говорят «нет, в ПИРе будет надежнее, ответственнее и лучше». Каждую неделю мы информируем Бизнес-Заказчиков о том, на какой стадии работы по той или иной системе. Так весь процесс становится более прозрачным.

03.10. Территориальные банки сообщают, что работы по обновлению Корпоративной сервисной шины успешно завершены. Начинаются проверки работоспособности системы.

М.С.: Конечно, бывают и неожиданные моменты. Например, на прошлом четном ПИРе мы перед самым внедрением повторно рассылали по ТБ bar-файл, в котором содержались адаптеры для соединения к локальным биллингам. Тот файл, который был разослан в тербанки до этого, нужно было заменить на новый. Из-за разницы во времени не все тербанки знали, что файл нужно заменить, у трех тербанков остался старый вариант. Когда начались обновления, в этих тербанках локальные биллинги не заработали. Только тогда выяснилось, что у них нет корректных адаптеров. К счастью, установка Корпоративной сервисной шины в территориальном банке проводится быстрее, чем в ЦА, и занимает менее часа. Поэтому мы все успели в срок.

03.20. Северо-Кавказский Сбербанк сообщает об успешном окончании проверок Корпоративной сервисной шины.

М.С.: Один раз у нас на этапе внедрения отключилась интернет-сеть. Выяснилось, что провайдер проводит плановые работы. После этого мы перед каждым ПИР связываемся с ними и узнаем, не планируется ли у них каких-либо отключений, чтобы избежать таких ситуаций.

03.30. Ряд территориальных банков сообщают, что ЕРИБ завис. Администраторы начинают разбираться в причинах этого сбоя.

04.00. Неполадки в работе ЕРИБ устранены. Администраторы Гаммы сообщают об успешном завершении обновления системы.

05.00. Начат переход систем территориальных банков на резервное плечо.

09.00. На работу вышли десятки сотрудников трех команд ЦСКО: Южный Порт (Москва), Ясная Поляна (Тула) и Ладья (Самара). Они будут проверять результаты ПИР.

10.00. Завершены все обновления в ЦА и всех тербанках.

14:30. Ключевой этап ПИР14 для участников закончился, когда команда ЦСКО, с 9 утра проверявшая функциональность обновленных систем, подтвердила, что все АС работают корректно. В результате проверок не было выявлено ни одной серьезной ошибки. Такое впервые за всю историю ПИР.

М.С. Каждый ПИР для нас – это событие. Ты ощущаешь себя причастным к огромной системе Сбербанка, это большая ответственность и гордость. Для меня Релиз – это логичное завершение полугода подготовки, праздник, настоящая победа. Наши победы мы отмечаем двумя командами – четных и нечетных ПИРов, а также приглашаем всех, кто был причастен к этой Победе. Мы уже ходили в боулинг, в веревочный городок Панда-Парк, катались на речном трамвайчике, ездили на природу.

Мы действительно команда, и это не просто слова. После каждого Релиза мы составляем файл «Уроки ПИРа», где вносим свои замечания, предложения по улучшению, рекомендации. И все это потом обсуждаем и используем в работе. Это помогает и нам, и коллегам из Банка, и в итоге пользователям наших систем.

*** К рассвету на доске в штабе внедрения – несколько заполненных таблиц, много цифр и пометок маркерами разных цветов. На первый взгляд это просто записи. Но на самом деле – это результат многодневной непростой работы очень многих людей. И еще – свидетельство настоящей вовлеченности в работу. Ведь только по-настоящему вовлеченные люди способны объединиться в огромную команду и за одну ночь вывести на орбиту огромный корабль – обновленную IT-систему Сбербанка.