Архитектура и сопровождение больших систем

Главная > Статьи >Архитектура и сопровождение больших систем
Статьи

Европа: Платежные технологии и финансовые рынки Чехия. Прага.

Информационно-телекоммуникационная система Банка России. Архитектура и сопровождение больших систем

Исходной точкой начала создания информационно-телекоммуникационной системы (ИТС) БР в ее нынешнем виде можно считать дату проведения первого электронного платежа: 9 октября 1992 года.

За время 20 летнего создания и развития ИТС выделяются 3 основных этапа, отличающихся генеральными целями, решаемыми задачами и ключевыми оценочными показателями эффективности (индикаторами).

1. Первый этап: переход от доставки платежных документов почтовыми и телеграфными переводами (наследие СССР) к электронными платежам.

Сроки этапа: 1992 - 2001 годы.

Генеральная цель первого Этапа: ускорение проведения платежей (устранение платежных заторов) и повышение скорости оборота денежных средств в экономике РФ.

Основная решаемая задача:

Создание резервированной телекоммуникационной составляющей ИТС БР, как средства доставки электронных платежей, замещающего доставку на бумажных носителях

1.1 Ключевые показатели эффективности:

  • увеличение доли электронных платежей в массе платежей ЦБ РФ.

Ожидаемый результат: 99,5 % (достигнуто к 2000 году).

  •  снижение максимального времени проведение платежа с нескольких недель до нескольких минут.

Ожидаемый результат: не более 20 мин. (достигнуто к 2000 году). Скорость оборота денежных средств возрасла в десятки раз, что дало экономический эффект равный увеличению ВВП на 5%.

  • расширение географического охвата территории РФ гарантированной доставкой платежа за счет введения спутниковой резервной системы доставки.

Ожидаемый результат: резервирование 100% РКЦ и ГУ ЦБ РФ (достигнуто в 2001году)

1.2 Основные итоги реализации первого этапа.

            К 2001 году была создана ЦЕНТРАЛИЗОВАННАЯ телекоммуникационная составляющая ИТС БР при сохранении ДЕЦЕНТРАЛИЗОВАННОЙ СИСТЕМЫ обработки платежей (обработка электронных платежей велась одновременно в 78 ВЦ территориальных учреждений Банка России), покрывающая всю территорию РФ и соответствующая поставленным для первого этапа целям (по ускорению проведении платежа, независимо от точки его возникновения с гарантией доставки в любую точку РФ).

            То есть ВПЕРВЫЕ было обеспечено фактическое РАВНОПРАВИЕ всех клиентов Банка России: консолидация банковского пространства на всей территории РФ.

Во всех ТУ были созданы высококвалифицированные коллективы специалистов в области вычислительной техники и связи (в основном за счет оттока научных и инженерных кадров из оборонного комплекса и вооруженных сил). Наличие такого коллектива специалистов обеспечивало проведение эксплуатации и последующее развитие ИТС.

В ходе эксплуатации и развития выявились и основные проблемы, органически присущие архитектурно ДЕЦЕНТРАЛИЗОВАННЫМ ИТС. 

1.3 Основные проблемы, выявленные в ходе эксплуатации и развития ИТС первого этапа:

  • высокая совокупная стоимость владения (ССВ) децентрализованной вычислительной инфраструктуры, определяемая ее архитектурной сложностью, большим разнообразием видов технических и программных средств, слабой унификацией технических решений, большим количеством точек обслуживания и, соответственно, высокими требованиями к численности и квалификации персонала (стоимость персонала в ССВ на 5 лет не менее 60%);
  • децентрализованная вычислительная инфраструктура существенно проигрывала централизованной телекоммуникационной инфраструктуре в скорости устранения нештатных ситуаций (более чем в 4 раза), стоимости технической поддержки (в 2 раза);  

  • Рис. 1
    • децентрализованная вычислительная инфраструктура обладала низким коэффициентом полезного использования закупленного оборудования и программных средств (оборудование и программное обеспечение в каждом из 78 ТУ работает не более 10 часов в сутки), а практический КПД не превышал для основных серверов ТУ 15-20%, вспомогательных 8-11%, персональных компьютеров 1-1,5% (см. рис.2);
    • сложностями синхронного развития ИТС одновременно в 78 ТУ, в первую очередь, с точки зрения необходимости обеспеченности высококвалифицированными кадрами;
    • сложностями обеспечения равнопрочной безопасности в 78 ВЦ ТУ..




    Рис. 2

    В итоге в 2002 году Техническим советом Департамента информационных систем было принято решение о переходе ко ВТОРОМУ этапу
    развития ИТС БР, призванному разрешить проблемы, возникшие на ПЕРВОМ этапе.

    2. Второй этап развития ИТС: от ДЕЦЕНТРАЛИЗОВАННОЙ вычислительной инфраструктуры ИТС БР к ЦЕНТРАЛИЗОВАННОЙ. Сроки этапа 2002 - 2012 годы. 

    Генеральная цель ВТОРОГО этапа:снижение совокупной стоимости владения (ССВ) ИТС БР.

     Основные решаемые задачи:
    • снижение сложности архитектуры вычислительной инфраструктуры ИТС (числа обслуживаемых элементов ИТС) за счет:
      • сокращения числа эксплуатируемых УОС (в 2001 году - 12)
      • сокращение числа используемых серверов за счет централизации обработки на меньшем числе более производительных серверов на всех трех уровнях ИТС: РКЦ, ТУ, ЦА;
      • компенсация рисков централизации путем повышения доступности ИТС (повышения УСТОЙЧИВОСТИ предоставления сервиса) и придания ее ключевым элементам свойств катастрофоустойчивости. (сохранения доступности в форс-мажорных обстоятельствах наступления катастроф)

    2.1 Ключевые показатели (индикаторы) эффективности второго этапа:

    • уменьшение числа ВЦ, участвующих в обработке платежной информации, с 78 до 2 Коллективных центров обработки информации (КЦОИ);
    • уменьшение числа УОС с 10 до 1;
    • уменьшение числа основных серверов ТУ с 234 до 0;
    • уменьшение числа вспомогательных серверов в РКЦ;
    • уменьшение числа вспомогательных серверов в ГУ;
    • повышение КПД использования оборудования не менее чем в 2 раза по ИТС в целом.
    • снижение ССВ в пересчете на одну платежную транзакцию (снижение себестоимости транзакции)
    • повышение уровня доступности ключевых элементов ИТС;
    • создание технических предпосылок для обеспечения катастофоустойчивости УОС за счет выноса резервных центров за пределы радиуса катастрофы, накрывающей город местоположения Коллективного центра обработки информации (КЦОИ),

    Ожидаемый результат по КАТАСТРОФОУСТОЙЧИВОСТИ:

    Для Москвы: удаление резервного центра от основного центра на 100 км за пределами второго кольца (Обьект Нудоль - достигнуто в 2009).

    Для Нижнего Новгорода: удаление резервного центра от основного центра на 80 км (объект Дальнее Константиново - достигнуто в 2007).

    По итогам реализации ВТОРОГО этапа фактически сложилась приводимая на рис. 3 архитектура, близкая к целевой, в которой все элементы дублированы.

    Единственным отличием фактического состоянии ИТС БР от целевого (красная полоса на рисунке) является на сегодняшний день отсутствие инфраструктуры взаимного резервирования между КЦОИ 1 (Нижний Новгород) и КЦОИ МР (Москва), создание которой отнесено к ТРЕТЬЕМУ этапу развития ИТС БР, поскольку переход к ЕДИНСТВЕННОЙ УОС был завершен только в 2012 году (наличие ОДИНАКОВОЙ УОС на резервируемых центрах есть НЕОБХОДИМОЕ условие эффективного резервирования).

    Рис. 3

    2.2. Основные итоги реализации ВТОРОГО ЭТАПА:

    1. Радикально снижены ССВ и сложность ИТС и обеспечены простота и динамика масштабирования параметров ИТС, достаточные для реагирования на более чем 20% ежегодный прирост платежной нагрузки на ЦБ РФ (за счет завершения перехода от ДЕЦЕНТРАЛИЗОВАННОЙ к ЦЕНТРАЛИЗОВАННОЙ вычислительной инфраструктуре в платежной системе).

    Эволюция индикаторов состояния ИТС, характеризующих снижение сложности ИТС в ходе второго этапа, приводится в таблице 1, не требующей комментариев:

    Таблица 1

     

    Достигнутое же снижение ССВ иллюстрируется таблицей 2, в которой годовые затраты БР при обработке 10 млн. транзакций в день (средняя по году нагрузка 2012 года) на ЦЕНТРАЛИЗОВАННОЙ ИТС БР 2012 года сравниваются с расчетными затратами на обработку нагрузки 2012 года на ДЕЦЕНТРАЛИЗОВАННОЙ ИТС БР 2004 года.

    Таблица 2

     

     

     

    Экономия годовых затрат при переходе на ЦЕНТРАЛИЗОВАННУЮ ИТС при обработке нагрузки 2012 года составляет ориентировочно 20 млрд. рублей в год и эта экономия будет расти пропорционально росту нагрузки.


    2. Достигнуты целевые показатели доступности (вероятности наличия сервиса) ключевых элементов ИТС (см. рис. 4), на практике доказавшие свою обоснованность:

    • за отчетный период НИ РАЗУ не было случаев несвоевременного закрытия операционного дня по РФ в целом.

      Рис. 4

      3. На уровне КЦОИ созданы резервные центры за пределами радиуса катастроф, целиком накрывающих город размещения КЦОИ и инфраструктура переноса обработки на резервный центр за время, не более 30 минут.

      4. Побочными результатами централизации оказались:

      • более чем десятикратное (до максимум двух минут) сокращение максимального времени обработки платежного документа в системе массовых платежей за счет кумулятивного приложения всей вычислительной мощности центров обработки к ограниченному числу регионов вдоль часовых поясов волны времени вместо существовавшего ранее ПЕРСОНАЛЬНОГО выделения мощностей для каждого региона в отдельности.
      • централизация платежной информации в двух ГУ (ранее рассеянной по 78 ТУ), создавшая предпосылки для перехода к ТРЕТЬЕМУ ЭТАПУ развития: централизации информационно - аналитических систем.

      Фактическое снижение уровня сложности ИТС БР наглядно иллюстрируется сравнением приводимой ниже карты распределения обработки 2012 годы с ранее приведенной на рис. 1 картой 2003 года: 

      Рис 5.

      5. Главным итогом ВТОРОГО этапа развития ИТС следует считать формирование уникального коллектива ИТ специалистов, распределенного по всей территории РФ (около 6500 человек), участвовавших в создании ИТС первого и второго этапов, овладевших за этот период (около 15 лет) наиболее передовыми ИТ технологиями мирового класса на основе фундаментального советского инженерного и математического образования. Этот коллектив эффективно эксплуатирует и развивает критически важную государственную автоматизированную систему (АС): АС ИТС ЦБ РФ (автоматизированная система по 34 ГОСТ: люди + средства автоматизации их деятельности).

      2.3. Основные проблемы, выявленные в ходе эксплуатации и развития ИТС БР ВТОРОГО этапа.

      •  сохранение в ИТС БР децентрализованной компоненты информационно-аналитического комплекса и как следствие этого:
        • высокая совокупная стоимость (ССВ) владения эксплуатируемых многочисленных разрозненных информационно-аналитических систем (ИАС) при недостаточной их функциональности;
        • низкие темпы развития функциональности ИАС по децентрализованному сценарию с созданием для каждой из ИАС полного набора собственных инфраструктурных компонентов;
        • противоречивость и несвязность информации разных ИАС в силу существования в каждой из них собственных систем сбора, накопления и обработки информации;
        • большие задержки в доведении актуальной информации от источников до руководителей всех уровней.

      Возникшая на практике в ЦБ РФ ситуация по ИАС иллюстрируется левой частью нижеследующего Рис. 6, а целевая архитектура, устраняющая вышеперечисленные проблемы ИАС иллюстрируется его правой частью.

      Рис. 6

      Архитектурно Централизованная ИАС (рис. 6) реализует единую для всех ИАС систему сбора, накопления, очистки и предоставления данных на основе модели предметной области IBM BDW, соответствующей стандарту Basel 2. Аналитические продукты, создаваемые ЦИАС, могут помочь достаточно оперативно изменять область наблюдения в банковском надзоре и использовать «достоверные» данные платежной системы в дополнение к «недостоверным» данным банковской отчетности.

      • старение основного первоначального состава эксплуатационного персонала (опыт участия в создании, эксплуатации и развитии ИТС БР более 15 лет, а средний возраст создателей системы уже превышает 60 лет) и невозможность быстрого замещения выбывающих сотрудников как в связи с падением качества образования, так и по причине уникальности ИТС БР в РФ. Знания и навыки по эксплуатации и развитию этой единственной в своем роде в РФ системы являются коллективным золотым фондом ИТ персонала ЦБ РФ и могут быть унаследованы вновь прибывающими сотрудниками и/или интегрированы в экспертных системах только при участии этого персонала;
      • прогнозируемое возрастание эксплуатационных рисков АС ИТС БР в связи с естественным замещением создателей ИТС БР в ближайшие 4- 6 лет;
      • невозможность отражения угроз платежной системе, связанных с уничтожением не только технической инфраструктуры, но и персонала одного из КЦОИ. Система полной катастрофоустойчивости еще не создана;

      В итоге в 2011 году начался переход к ТРЕТЬЕМУ Этапу
      развития ИТС БР, призванному устранить выявленные при реализации ВТОРОГО этапа проблемы.

      3. ТРЕТИЙ ЭТАП развития АС ИТС БР

      • Реализация катастрофоустойчивости КЦОИ УОС на основе резервирования Москва - Нижний Новгород.
      • Создание инфраструктуры перехода от массы децентрализованных ИАС к единой Централизованной информационной аналитической системе (ЦИАС).
      • Повышение КПД вычислительной инфраструктуры Банка России и подготовка к переходу на работу в условиях «соглашений о качестве услуги»

      Сроки этапа: начало 2011 года, ориентировочная длительность этапа - 4-6 лет

      Генеральные цели ТРЕТЬЕГО ЭТАПА развития ИТС:

      По инфраструктуре платежной системы:

      Снижение рисков потери доступности КЦОИ для клиентов Банка России при реализации полного списка угроз в соответствии с классификацией МВФ

      По ИАС:

      Обеспечение повышения качества информационно-аналитического обслуживания руководства ЦБ РФ всех уровней за счет развития системы централизованного сбора, обработки, хранения и представления информации с одновременным снижением ССВ ИАС.

      По вычислительной инфраструктуре ИТС БР:

      Продолжение работ по виртуализации вычислительной инфраструктуры Банка России путем перехода к облачным решениям.

      Основные решаемые задачи ТРЕТЬЕГО ЭТАПА развития ИТС:

      По кадровому обеспечению эксплуатации и развития.

      • снижение требований к общей численности и квалификации линейного персонала АС ИТС БР за счет создания систем поддержки принятия решений и экспертных систем автоматизации ведения эксплуатации, формализующих опыт ее создателей при разрешении типичных нештатных ситуаций (НШС) в эксплуатации АС ИТС БР;
      • снижение эксплуатационных рисков, сопутствующих снижению квалификации замещающего линейного персонала, за счет повышения качества и профессионализма ключевого технического персонала (около 150 человек), обслуживающего критически важные для БР компоненты АС ИТС БР: систему доставки платежных поручений, центры обработки платежных поручений (КЦОИ 1 и КЦОИ МР), систему управления платежной системой (ИАС центрального аппарата).

      По платежной системе.

      • Обеспечение взаимного резервированная КЦОИ МР (МОСКВА) и КЦОИ 1 (Нижний Новгород) с использованием уже существующего полностью взаимозамещающего персонала КЦОИ 1 и КЦОИ МР (исключает необходимость формирования двух дополнительных групп резервного персонала: в Москве и Нижнем Новгороде).

      По информационно-аналитическим системам.

      • Создание инфраструктуры консолидации как уже существующих, так и вновь создаваемых ИАС, включающей единую для всех ИАС систему сбора, накопления и очистки информации от всех видов источников и единое Корпоративное хранилище данных (КХД) БР.
      • Дальнейшее развитие КХД для обеспечения информационной поддержки перехода Банка России к внедрению в надзорную деятельность положений стандарта Basel 3.

      По вычислительной инфраструктуре ИТС Банка России.

      Повышение КПД вычислительной инфраструктуры ИТС Банка России путем перехода к виртуализации вычислений и применения решений «программное обеспечение как услуга», «вычислительная среда как услуга», «рабочее место как услуга» и создание предпосылок для внедрения в практику работы с заказчиком «соглашения о предоставлении услуги»

      3.1. Ключевые показатели эффективности (индикаторы) третьего этапа:

      3.1.1. По эксплуатации АС ИТС БР.

      • Привлечение в Банк России высококвалифицированных сотрудников, нанятых и обученных целевым образом для замещения в системах эксплуатации ключевых элементов АС ИТС БР выбывающих по старости сотрудников;

      Ожидаемый результат: 150 человек;

      • снижение среднего по году процента числа нештатных ситуаций (НШС) разрешаемых вручную;

      Ожидаемый результат: не более 5% НШС должно устраняться с помощью высококвалифицированных специалистов.

      • повышение среднего по году процента ежедневного числа нештатных ситуаций, разрешаемых с применением автоматизированных систем поддержки принятия решений (средне дневное количество нештатных ситуаций в АС ИТС БР по РФ составляет 6 НШС, а максимальное число может доходить до 25 НШС);

      Ожидаемый результат: 95%;

      • снижение среднего возраста второго поколения создателей ИТС БР;

      Ожидаемый результат: средний возраст должен составлять около 40 лет с перспективой работы в ЦБ не менее 20 лет

      3.1.2 По катастрофоустойчивости платежной системы:

      •  увеличение количества прикладных и инфраструктурных сервисов УОС, допускающих перенос между КЦОИ 1 и КЦОИ МР за время менее 1 часа;

      Ожидаемые результаты по составу сервисов, подлежащих катастрофоустойчивому резервированию: БЭСП, МОП, НОП, СОИБ, СОЖЦ УОС, СУ КТС КЦОИ

      3.1.3 по ИАС

      • уменьшение количества существующих ИАС (сейчас по Центральному аппарату 324), работающих вне инфраструктуры ЦИАС;
      • увеличение количества вновь создаваемых ИАС в составе ЦИАС;
      • увеличение количества источников информации, подключаемых к КХД
      • сокращение количества источников информации, используемых помимо КХД.

       Ожидаемые результаты на конец этапа:

      • Не менее 20 % ИАС Центрального аппарата перенесены в ЦИАС;
      • Не менее 60% всех источников информирования Центрального аппарата подключены к Корпоративному хранилищу данных (КХД).

      3.1.4. По инфраструктуре ИТС БР

      • уменьшение числа отдельно используемых серверов приложений и баз данных в ТУ и центральном аппарате
      • перевод сотрудников Банка России на работу через виртуальные рабочие места;
      • оптимизация неструктурированной информации, накапливаемой в Банке России, и внедрение систем обработки потоковой информации.

       3.2. Промежуточные итоги ТРЕТЬЕГО этапа.

      3.2.1. По снижению рисков эксплуатации.

                  Повышение уровня автоматизации принятия эксплуатационных решений, создание нового поколения технической элиты ЦБ РФ). Разворачивается инфраструктура решения задачи создания профильных экспертных систем для принятия эксплуатационных решений по АС ИТС БР и обучения нового поколения технической элиты ЦБ РФ современным методам принятия эксплуатационных решений:

      • основан Центр компетенции по наиболее современной технологии создания экспертных систем для принятия решений: IBM BIG DATA;
      • открывается специальность по системам поддержки принятия решений на Факультете ВМК МГУ;
      • открывается специальность по направлению: Безопасная эксплуатация корпоративных АС в МИФИ;
      • создана базовая кафедра "Информационно аналитические системы" в МИЭМ ВШЭ для подготовки кадров по проектированию и применению систем поддержания принятия решений (в том числе экспертных систем эксплуатации крупных АС уровня ИТС БР);

      Эти кафедры имеют доступ к облачным ресурсам Центра компетенции IBM BIG DATA: технологиям IBM BIG DATA, позволяющим проектировать и эксплуатировать экспертные системы принятия корпоративных решений, чем обеспечивается качество обучения на основе решения реальных задач ЦБ РФ по наиболее современным технологиям.

       3.2.2 По катастрофоустойчивости платежной системы:

      • ведутся работы по Координационному плану, связанному с Концепцией развития платежной системы, создается федеральная компонента платежной системы с перспективой к 2015 году перейти от многоконтурной системы обработки платежей к единой с набором услуг по срочной и несрочной обработке платежей и единым клиентским местом доступа в систему.
      • прорабатывается эскизная модель полностью катастрофоустойчивой системы на базе КЦОИ МР и КЦОИ 1

      3.2.3. По ИАС:

      • определены ИАС, создаваемые в настоящее время (ИАС АП, СИнОУКОИ, АП АС БЭСП и др.), для поэтапного размещения их на централизованной платформе сбора, подготовки и предоставления данных с единой системой информационной защиты;
      • продолжается работа по созданию централизованных ИАС в рамках Программы Единой информационно-аналитической системы поддержки деятельности Банка России в области банковского надзора (ЕИСПД)

       

      3.2.4. По технической инфраструктуре ИТС БР

      • практически завершены работы в ТУ по переводу их вычислительных комплексов на консолидированные комплексы с виртуализацией вычислений. Экономический эффект от использования такого решения составляет более 1 мрд. руб. в год.
      • завершены испытания и ведется создание типового технического решения для использования в ТУ облачных вычислительных структур и систем хранения данных (как структурированной, так и неструктурированной информации). Ожидаемый эффект – повышение КПД персональных рабочих мест с 1% до 70 – 80%;
      • прорабатывается техническое решение замены вычислительной инфраструктуры центрального аппарата с виртуализацией вычислений и систем хранения данных, а также перевода сотрудников на работу через виртуальные рабочие места. Ожидаемый эффект – повышение качества обслуживания сотрудников центрального аппарата путем интеграции сервисов на единый вычислительный комплекс с системой мониторинга и сопровождения каждого рабочего местт и повышение КПД персональных рабочих мест до 80%

      Заключение.

      1. Информационно-телекоммуникационная система Банка России в ее нынешнем виде является результатом более чем 20-летнего эволюционного развития "от достигнутого сегодня", и, возможно, это и является ее главной особенностью.

      В любой момент времени на всей территории РФ в ней ОДНОВРЕМЕННО протекают ДВА процесса: ЭКСПЛУАТАЦИЯ (не приостанавливалась за 20 лет ни на один день) и РАЗВИТИЕ (несколько тысяч изменений в год и система "сегодня" уже наверняка не такая, как была "вчера").

      Поэтому ИТС БР одновременно и хорошо документированный для эксплуатации по ГОСТ "объект" и детально планируемый и регламентированный для развития "процесс". 

      2. Планирование процесса РАЗВИТИЯ (кратко описанного в этом материале) осуществляется на трех уровнях:

      - СТРАТЕГИЧЕСКОМ (Концепции развития ИТС ориентировочно на 5 лет);

      - ОПЕРАТИВНОМ (Координационные планы развития ориентировочно на 1.5 - 2 года);

      - ТАКТИЧЕСКОМ (планы реализации на следующий и текущий годы, технико-экономические обоснования (ТЭО) закупок по модернизации ИТС на всех уровнях). 

      3. Разработка документов стратегического, оперативного и тактического планирования производится с привлечением профильных институтов РАН (соглашение о сотрудничестве Председатель ЦБ - Президент РАН от 2002 года), осуществляющих экспертный надзор за научной обоснованностью принимаемых решений и участвующих в защите принимаемых решений на Техническом совете БР.

      Аналогичный надзор в части ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ осуществляется Совместной комиссией ЦБ – ФСБ.

      4. Реализация процессов развития и эксплуатации ИТС осуществляется с применением АС "Система обеспечения жизненного цикла" (СОЖЦ), регламентирующей и автоматизирующей действия персонала банка по развитию и эксплуатации ИТС. 

      5. В целом проект ИТС ЦБ оценивается экспертным сообществом РФ (Премия Правительства РФ, РАН, Клуб 4 CIO - 150 CIO крупнейших организаций РФ, профильный комитет Думы) и международными экспертами (GARTNER, Попадание в ежегодные отчеты IBM) как наиболее успешный в РФ.

      6. Можно сказать, что успешность проекта ЦБ предопределяется изначально избранными подходами к его проведению, объединяющими наиболее современные мировые технологии с одной стороны, и доказавшие свою эффективность методы советской научно-технической школы по проведению крупномасштабных проектов с другой стороны.