В ИТ-менеджменте всегда есть необходимость чего-нибудь измерить. Придумать набор метрик для продукта, услуги, процесса или проекта обычно не составляет никакого труда. Но глядя на сотни показателей, которые ложатся в десятки отчетов и дэшбордов, даже опытному ИТ-управленцу не так просто понять, что же на самом деле происходит. Чтобы не попасть в ловушку «все измеряем, ничего не понимаем», мы предлагаем следовать следующим пяти шагам при разработке карт ключевых показателей.

Для формирования карты KPI (KPI Scorecard) необходимо совершить несколько шагов. Причём состав этих шагов сохраняется, какой бы объект управления ни подлежал оценке — процесс, услуга, проект или другие разовые активности..

Image

Шаг 1. Определение цели

Первый шаг — самый важный. Он определяет, к чему мы стремимся и, следовательно, для чего формируем систему измерения и оценки. Все последующие шаги зависят от качества целеполагания, а значит от компетенции менеджера, который определяет цели.

Для проекта или другой разовой активности формулировка цели, как правило, не вызывает затруднений, поскольку обычно сами такие активности инициируются исключительно для достижения конкретного результата. Более того, во многих организациях этот шаг требует формального обоснования, а значит — предварительного продумывания, письменного изложения и даже защиты перед тем или иным органом принятия решений (правлением, проектным комитетом, комитетом по закупкам и так далее).

Для процессов и услуг цель обычно связана с достижениями в одной из ранее рассмотренных групп показателей — результативности, соответствия, рациональности или продуктивности. Для измерения результативности процесса можно отталкиваться непосредственно от формулировки его назначения. По крайней мере, это справедливо для зрелых или широко известных процессов, таких как базовые операционные процессы управления ИТ-услугами, поскольку в этом случае формулировка назначения процесса заранее известна и опирается на внутренний опыт или внешние источники знаний. Результативность для услуги означает степень соответствия ожиданиям заказчика и согласованным обязательствам поставщика, а значит, цель по результативности является целью обеспечения качества услуги (а измерение результативности сводится к измерению качества услуги).

Для процессов и услуг цель обычно связана с достижениями в одной из ранее рассмотренных групп показателей — результативности, соответствия, рациональности или продуктивности. Для измерения результативности процесса можно отталкиваться непосредственно от формулировки его назначения. По крайней мере, это справедливо для зрелых или широко известных процессов, таких как базовые операционные процессы управления ИТ-услугами, поскольку в этом случае формулировка назначения процесса заранее известна и опирается на внутренний опыт или внешние источники знаний. Результативность для услуги означает степень соответствия ожиданиям заказчика и согласованным обязательствам поставщика, а значит, цель по результативности является целью обеспечения качества услуги (а измерение результативности сводится к измерению качества услуги).

Независимо от объекта управления, цели должны соответствовать критериям SMART (Specific, Measurable, Achievable, Relevant, Time-bound) — быть конкретными, измеримыми, достижимыми, актуальными и ограниченными во времени. Несоответствие целей этому требованию сделает невозможными  их полноценное измерение и обоснованную оценку, а также поставит под вопрос и саму возможность их достижения.

Шаг 2. Выявление критических факторов успеха

Критический фактор успеха (CSF) — фактор, который обязательно должен реализоваться для успешности ИТ-услуги, процесса, плана, проекта или другой деятельности [1] . Выявление и оценка реализации критических факторов успеха позволяют сделать систему измерения инструментом управления. Такая система будет в состоянии не только оценить  итоговый результат, но и давать промежуточные оценки, подсказывающие необходимость тех или иных корректирующих мер и оценивая их результативность.

Для проектов выявление критических факторов успеха — отдельный этап на этапе планирования и идентификации рисков. Для небольших разовых активностей общепринятых правил нет, и практика может варьироваться от систематического анализа критических факторов успеха до их полного игнорирования.

Для процесса критические факторы успеха могут быть связаны с выполнением его ключевых практик [2]. Как и в случае с назначением, предполагается, что ключевые практики определяются на этапе проектирования процесса. Однако найти их перечень в процессной документации уже действующих процессов не всегда возможно, и их определение и описание может оказаться полезным упражнением в рамках работы по разработке процессных метрик.
Например, критическими факторами успеха для процесса управления изменениями могут быть «минимизация уровня аварийных изменений» и «реализация максимального количества изменений с первой попытки».

Выявить критические факторы, определяющие качество услуги, можно применением метода сервисных операций.

Шаг 3. Подбор метрик и инструментария измерения

На следующем шаге для исходной цели и выявленных критических факторов успеха выбираются метрики. Для проверки полноты сформированной системы метрик можно применять различные способы их классификации, рассмотренные нами ранее.

Теоретически, если цели и критические факторы успеха сформулированы должным образом, подбор метрик для них трудностей вызывать не должен. Однако метрики необходимо подбирать с учётом доступного инструментария измерения, а возможности имеющихся в наличии технических средств могут изрядно ограничить фантазию автора. Иногда технические ограничения можно компенсировать организационными решениями, например, собирать данные в ручном режиме. Но такие решения и дороже, и, как правило, предоставляют данные с задержкой. Таким образом, на практике сложность с подбором метрик довольно часто связана с инструментальными ограничениями. И, к сожалению, универсальных рецептов их преодоления не существует.

Рассмотрим в качестве примера процесс управления изменениями. Метрикой цели для процесса может быть «доля изменений, выполненных своевременно». Метрики для критических факторов успеха — «доля аварийных изменений (Emergency Change Rate, ECR)» и «доля изменений, реализованных с первой попытки».

По этой теме

Шаг 4. Формирование системы KPI

Далее на основании набора метрик необходимо сформировать KPI. Для этого а) отбираются наиболее значимые метрики и б) для них на основании формулировок целей и критических факторов успеха устанавливаются целевые и граничные значения.

Принципиальным аспектом на этом шаге является сбалансированность полученной системы KPI. Система должна быть способна обнаружить перекосы в управлении, когда одни аспекты состояния объекта игнорируются в пользу других (например, качество реализации запросов на изменения упускается в погоне за скоростью). Для обеспечения сбалансированности системы KPI необходимо осознавать взаимосвязь отдельных KPI, и в выявлении таких взаимосвязей может быть полезен инструментарий системной динамики.

Например, для результативности процесса управления изменениями могут быть определены следующие KPI:

Image

Шаг 5. Агрегирование данных по измерениям

Наконец, на последнем шаге выполняется выбор алгоритма агрегирования для расчёта интегральной оценки, всем KPI присваиваются веса (уровни значимости) и формируется сбалансированная карта показателей или другая форма отчёта, которая структурирует и наглядно представит результаты измерений для оценки и принятия решений.

Собираем все вместе

Таким образом, общая последовательность действий по формированию системы измерения и оценки может быть представлена следующим образом:

Image

Важно ещё раз отметить, что представленный в данной главе методический материал может применяться и успешно применяется для решения самых разных управленческих задач, в том числе и не связанных с информационными технологиями. Отсутствие отраслевой специфики является очень важным свойством этой методики, поскольку позволяет использовать её на корпоративном уровне, включая в общую систему измерения и оценки самые разные подразделения, независимо от их функций.

Ссылки

[1] Словарь терминов и определений ITIL

[2] Материалы ISACA, в частности, словарь терминов ISACA, определяют ключевые практики как «Практики управления, необходимые для успешного выполнения бизнес-процесса». Аналогичный термин, используемый в ITIL 4 – «Practice success factor»