Моделирование системы отчетности

Разработка корпоративных аналитических сервисов с использованием технологии моделирования системы отчетности

Задача проектирования корпоративных BI-сервисов нередко сводится заказчиком к разработке системы генерации аналитических отчетов установленного формата. В такой постановке разработчику приходится решать довольно нетривиальную задачу согласования между собой разнородных форматов, аналитических разрезов, уровней агрегации одних и тех же данных в единой структуре хранилища данных, обслуживающего систему отчетности, подбора первоисточников отчетных данных в обширной информационной среде.

На практике решение указанных проблем, как правило, является результатом длительного эволюционного процесса, в ходе которого система отчетности развивается постепенно, захватывая последовательно новые функциональных области и отбрасывая то, что в процессе эволюции утратило практическую значимость, порой, изменяясь до неузнаваемости. Вместе с тем редкий заказчик готов ожидать завершения полного цикла трансформаций, финал которого, скорее всего, уже не будет соответствовать актуальным потребностям, которые также подвержены эволюции.

Нашей Компанией разработана методология и программное обеспечение моделирования данного процесса, виртуализирующего эволюцию системы отчетности, что на практике позволило существенно ускорить и повысить качество разработки, а также предоставить осязаемые преимущества в ходе эксплуатации подобных систем. Описанные ниже подходы были опробованы в ходе реализации проекта разработки Отраслевого Хранилища данных бизнес-сегмента «Геологоразведка и добыча» ОАО «ЛУКОЙЛ»

Характеристика проекта создания модели системы отчетности

Ключевым критерием успешности проекта заказчиком в первую очередь признавались функционирующие на базе Отраслевого Хранилища отчеты. Соответственно реализация проекта и принимаемые в его рамках решения подчинялись формализованным требованиям конечной визуализации данных. При этом необходимо упомянуть о следующих важных обстоятельствах:

1. Количество отчетов к разработке измерялось трехзначным числительным. Отчеты охватывали весь спектр областей деятельности корпорации. При этом, поскольку большинство форм отчетности затрагивает одновременно несколько сопредельных областей, возможность реализации проекта обособленными очередями не рассматривалась.

2. Форматы отчетов утверждались на самом высоком уровне и имели статус закона, т.е. какая-либо оптимизации их структуры с целью ускорения разработки была сильно затруднена. Кроме того, с периодичностью раз в год, а иногда чаще пакет корпоративной отчетности подлежал пересмотру, в результате чего часть форматов могла быть упразднена за ненадобностью, часть в той или иной степени изменена, либо могли быть введены в действие новые форматы отчетности. Коррективы подобного рода фактически затрагивали до 20% перечня отчетов.

3. Количество организаций в составе ОАО «ЛУКОЙЛ», на которых возлагались обязанности по предоставлению отчетности, насчитывало не один десяток.

4. Степень информатизации процессов, подлежащих отражению в корпоративной отчетности, существенно различалась между дочерними организациями и ни в одной из них не позволяла охватить их полностью. При невозможности оперативной доработки существующих решений, «дыры» информатизации допускалось компенсировать возможностью прямого ввода отчетных данных.

Масштабность задач, предполагающих вовлечение огромного числа исполнителей, специалистов, экспертов в различных областях, результаты которых в определенный момент времени требуется свести в одну точку и принципиальная невозможность получения результата в пределах одного жизненного цикла пакета отчетности, прежде чем он подлежит корректировке, предъявляли высокие требования к организации работы проектной команды. Весь комплекс отчетов был разделен между участниками группы аналитиков таким образом, чтобы тематика отчета более-менее соответствовала их специализации. Затем каждый из них «разбирал» отчет на показатели (факты) и признаки (измерения), формируя, таким образом, «строительный материал» для корпоративного хранилища данных и прочих отчетов, ожидающих своей очереди на подобный разбор. Этот процесс назван «декомпозицией отчетности».

Однако, большинство отчетов, так или иначе, затрагивало одновременно несколько функциональных сфер, обособленные по разным исполнителям-аналитикам группы отчетов оперировали во многом одними и теми же показателями, не говоря уже о признаках. Неизбежно, по мере обработки все большего количества отчетов, множилось количество дублирующихся показателей и признаков, создаваемых независимо друг от друга.

Ситуация усугублялась применением в ходе декомпозиции расчетных показателей, т.е. тех, значение которых может быть получено путем вычислений по известной формуле на основе значений других показателей. Поскольку компонентом формулы может служить другой расчетный показатель, они временами образовывали длинные рекурсивные цепочки, распутыванием которых приходилось заниматься всякий раз, когда возникало подозрение на предмет возможных конфликтов и противоречий результатов декомпозиции. Помимо конфликтов, вызванных дублированием, в данном контексте следует упомянуть проблему недостаточности, либо избыточности аналитических разрезов оснований расчета для формирования требуемого комплекта признаков расчетного показателя.

По окончании декомпозиции, сопровождавшейся несколькими циклами мучительных внутренних и внешних согласований многотысячной груды показателей, признаков, их комбинаций между собой и отчетами, следующим шагом стал поиск источников данных для идентифицированных ранее отчетных показателей, породивший ряд новых трудностей:

Во-первых, очевидно, что структура данных в источниках может значительно отличаться от результатов декомпозиции. Поиск компромисса в таких случаях приводит к тому, что с таким трудом сбалансированная система начинает рушиться.

Во-вторых, для установления источника данных того или иного показателя, помимо набора признаков, в разрезе которых он должен быть представлен, иногда требуется установление конкретного значения признака, с которым должны быть ассоциированы извлекаемые данные. Наиболее наглядным примером такого признака может служить признак, отражающий статусную характеристику значения показателя, как то: факт, план, оперативный факт и т.д.

В-третьих, настройки ETL-сервисов, а также упомянутое выше требование наличия возможности прямого ввода отчетных данных при отсутствии иных источников их формирования, оказываются крайне чувствительными к дискретности и срокам предоставления информации. Между вводом/загрузкой того или иного показателя ежедневно либо раз в год слишком существенная разница, чтобы ее игнорировать, не говоря уже о том, что выбранный источник может быть не в состоянии обеспечить отчетные данные к назначенной дате. Для установления целевых ограничений на дискретность и дату необходимо выбрать соответствующие минимальные параметры набора отчетов, использующих тот или иной показатель. При этом следует помнить, что показатель может использоваться в отчете как непосредственно, так и в качестве аргумента функции расчетного показателя.

В-четвертых, нельзя игнорировать риски, когда после установления всех правил интеграции с источниками данных может быть выпущена новая редакция пакета отчетности и нужно все начинать сначала.

Модель системы отчетности

Идея всестороннего описания взаимосвязей и взаимодействия компонент реализуемого решения не оригинальна, однако ее реализация традиционными способами (спецификации, иная проектная документация, табличные сводки) не позволяла обеспечить комплексный и адекватный моменту взгляд на вещи. Однако накопленный специалистами нашей Компании опыт решения проблем управления мастер-данными ERP-систем, то решение творчески развить наработанные техники в сфере BI пришло достаточно естественно.

Обычно тема мастер-данных в контексте BI подразумевает справочники и классификаторы списков значений таблиц измерений (признаков). В нашем случае, дополнив эти справочники отдельными перечнями отчетов, показателей и, собственно, признаков, мы получили возможность реализовать отношение сформированной таким образом совокупности справочников, отражающее результат декомпозиции отчетности (рис. 1).

Рис. 1. Декомпозиция отчетности

Подобным образом и из тех же компонент формируется отношение между расчетными показателями и основаниями расчета, с той лишь разницей, что роль декомпозируемого отчета в данном случае выполняет расчетный показатель. Совместно с декомпозицией, данный комплект справочников и их отношений между собой составляет ядро схемы данных (рис. 2), структурирующей результаты аналитического «разбора» отчетности и получившей название «Модель системы отчетности» (МСО).

Рис. 2. Модель системы отчетности

Используемое изначально как способ согласования результатов совместной деятельности аналитиков проекта путем централизации порождаемой ими информации, постепенно ядро МСО стало обрастать различными периферическими структурами, обеспечивающими более комплексное отражение разрабатываемой системы корпоративной отчетности.

Рис. 3. Расширение модели системы отчетности

1. Дополнение «ядерной» схемы МСО возможностями группировки показателей и установления атрибутивной связи внутри пары признаков (рис. 3, поз. А), отражающей взаимную зависимость значений одного признака от другого («предприятие — структурное подразделение» и т.п.) позволило автоматически специфицировать структуру таблиц фактов хранилища, руководствуясь следующей логикой:

1.1. Группа показателей определяет наименование таблицы фактов хранилища данных.

1.2. Таблицы фактов основываются исключительно на базовых, т.е. тех, которые не могут быть получены расчетным путем из имеющегося содержания ХД, показателях, что можно определить по факту наличия соответствующей записи в таблице «Основание расчета» МСО.

1.3. Измерения таблицы фактов определяются совокупностью всех признаков базовых показателей в составе соответствующей группы, используемых при декомпозиции отчетности, а также в основаниях расчета. Если в сформированной таким образом совокупности обнаружены пары зависимых (с учетом рекурсии) признаков, признак, являющийся в этой паре атрибутом, подлежит исключению.

2. В связи с расширением МСО справочником подотчетных организаций, появилась возможность указать для каждой из них перечень отчетов, предоставляемых в соответствии с установленным регламентом (рис. 3, поз. Б). Далее, путем «разворачивания» декомпозиции отчетов дочернего общества, а также рекурсии оснований расчета, для каждого из них может быть определен состав и аналитическая структура запрашиваемых показателей. Это позволяет в дальнейшем акцентировано прилагать усилия по поиску источников реально востребованных отчетных данных.

3. Для фиксации результатов выявления источников данных в МСО был введен справочник учетных систем, ассоциируемый с эксплуатирующими их организациями. Затем, по мере детализации представлений о функциональности, реальном содержательном наполнении потенциальных источников, уточняются ранее установленные модельные отношения декомпозиции и оснований расчета. Выявленная в результате анализа связь между востребованными комбинациями «Показатель-Признак-Значение признака» и источником их предоставления регистрируется в отношении «Источник данных» (рис. 3, поз. В). Объемность и вытекающая из нее трудоемкость наполнения данного отношения «Источник данных» компенсируется рядом специально разработанных на базе МСО программных сервисов, позволяющих:

• оперировать не отдельными системами, показателями и т.д., а их группировками;
• задавать «умолчания», позволяющие неявно определять в отношении все доступные признаки показателя или все доступные значения признака;
• обеспечить автоматизированное начальное наполнение отношения, которое в случае необходимости по отдельным локальным позициям может быть скорректировано вручную.

4. Поскольку дискретность и срок предоставления показателей находится в прямой зависимости от срока и периодичности предоставления отчетности, в которых они используются, дополнением соответствующей атрибутикой справочника отчетов МСО (рис. 3), была обеспечена необходимая полнота исходных данных для их определения. Теперь для каждого показателя, ассоциированного через отношения «Декомпозиция отчетности» и «Основания расчета» со справочником отчетов, мы можем определить полный перечень временных ограничений и выбрать из них то, которое позволит удовлетворить одновременно всем установленным регламентным требованиям.

К сожалению, полученная схема сама по себе не обеспечивает сбалансированности основных модельных отношений. Они могут формироваться независимо друг от друга, в результате чего аналитика показателя, предусмотренная декомпозицией отчета, может не быть в достаточной мере обеспечена аналитикой оснований расчета (если показатель расчетный) либо источниками данных (если показатель базовый). Для предупреждения подобных ситуаций разработаны специализированные сигнальные сервисы, ориентированные на обеспечение наполнения МСО изначально сбалансированными данными. В тех случаях, когда априорной согласованности отношений в силу объективных причин добиться невозможно, сервисы позволяют в любой момент получить актуальную информацию об имеющихся проблемах для их последующего устранения.

Отчетность МСО

Вышеописанные эффекты от упорядочения данных в МСО являются результатом серьезной вычислительной обработки (на «развертку» рекурсий, определения минимальных значений периодичности и срока предоставления отчетных показателей), что существенно затрудняет аналитическую работу с данными, подразумевающую выполнение расчетов «на лету» в какие-то разумные сроки. Наличие под рукой полноценного BI-инструментария для построения корпоративной отчетности естественным образом обусловило решение воспользоваться им же для обработки данных МСО.

Все необходимые вычисления производятся в фоновом режиме непосредственно после завершения очередной транзакции по внесению тех или иных изменений в МСО. Результаты вычислений заносятся в отдельную схему данных со звездообразной структурой, в центр которой сведены воедино все модельные отношения (рис. 4). Следует обратить внимание, что таблица фактов приведенной схемы «закольцована» с разверткой рекурсии оснований расчета. Это позволяет при необходимости отобразить всю цепочку вложенных оснований расчета и их свойств.

Рис. 4. Сводная схема МСО

Проведенное переформатирование структуры данных открывает обширные перспективы для их анализа, формируя фактически отчетную подсистему на базе МСО, предоставляя обширный спектр информации для проектной команды:

• отчеты для аналитиков проекта: как отражающих уже достигнутые результаты, так и указывающие на возможные пробелы и несоответствия в определении основных модельных отношений (дополнительно к упомянутым ранее сигнальным сервисам);
• спецификации, определяющие структуру объектов корпоративного хранилища отчетных данных;
• спецификации на экстракцию отчетных данных из систем-источников;
• спецификации на разработку корпоративной отчетности;
• детализированные по показателям регламенты подготовки отчетных данных для дочерних организаций;
• технические регламенты функционирования ETL-сервисов корпоративного хранилища отчетных данных.

Применение модели системы отчетности в ходе эксплуатации корпоративной аналитики

На момент запуска системы корпоративной отчетности в эксплуатацию стало очевидным, что МСО стало ее неотъемлемой частью. Оперативно проецировать централизованные изменения форматов отчетности, внутрикорпоративные организационные трансформации, развитие информационной базы ОАО «ЛУКОЙЛ» и ее отдельных участников на четко установленные, локализованные корректировки компонент разработанного BI-решения без соответствующего инструментария было бы практически неосуществимой задачей.

Востребованность МСО на всех этапах жизненного цикла систем корпоративной аналитики является серьезной движущей силой к ее дальнейшему развитию и совершенствованию. Приведенные здесь выкладки отражают пусть и ключевую, но достаточно малую часть реально функционирующего решения.

Активное распространение в последнее время систем корпоративной аналитики дает основания полагать, что с проблемами подобного рода, так или иначе, приходилось сталкиваться многим, кто принимал деятельное участие в их внедрении или поддержке.