BI, DWH и витрины данных: что нужно для аналитики

Данные для аналитики редко находятся в одном месте: часть хранится в 1С, часть — в CRM, Excel и других системах. Пока источников немного, BI можно подключить к ним напрямую. Но по мере роста объёма данных и числа систем появляются расхождения, сложнее поддерживать единые показатели и историю изменений.

В таких случаях в аналитическую архитектуру добавляют DWH и витрины данных. Разберём, чем они отличаются от BI, как связаны между собой и когда компании достаточно одного BI, а когда уже требуется полноценное хранилище данных.

Что делают BI, DWH и витрины данных

BI, DWH, витрины данных и ETL решают разные задачи. Их не стоит рассматривать как взаимозаменяемые инструменты: чаще они работают вместе и отвечают за разные этапы подготовки аналитики.

BI-система находится ближе всего к пользователю. Именно в ней руководитель или аналитик видит показатели, фильтрует данные, строит отчёты и сравнивает результаты.

DWH решает другую задачу. Это корпоративное хранилище данных, куда информация поступает из разных систем. В нём можно хранить историю изменений, унифицировать справочники и формировать единые правила расчёта показателей. Поэтому связка DWH + BI особенно полезна, когда аналитика строится сразу по нескольким источникам.

Витрина данных — более узкий слой. Она содержит подготовленный набор информации под конкретную бизнес-задачу. Например, одна витрина может использоваться для анализа продаж, другая — для финансовой отчётности, третья — для закупок. BI подключается к таким витринам и получает уже подготовленные данные.

ETL обеспечивает движение данных между системами. Он отвечает за извлечение информации из источников, её преобразование и загрузку в хранилище или другой целевой слой.

На практике типовая схема выглядит так:

источники данных → ETL → DWH → витрины данных → BI

При этом не каждой компании нужен весь этот контур. Если источников мало и данные не требуют сложной подготовки, BI можно подключить к ним напрямую.

Когда BI можно подключить напрямую к источникам

DWH нужен не всегда. Если аналитика строится на небольшом количестве источников, а данные уже достаточно хорошо структурированы, BI-систему можно подключить к ним напрямую.

Такой вариант подходит, когда:

• используется один основной источник или несколько простых систем;
• объём данных пока небольшой;
• показатели рассчитываются по понятным правилам;
• не требуется хранить длительную историю изменений;
• справочники и ключевые показатели не конфликтуют между системами;
• отчёты обновляются с приемлемой скоростью без дополнительного слоя хранения;
• нет высокой нагрузки на рабочие системы из-за аналитических запросов.

Например, если компания строит отчётность только по данным одной базы 1С и нескольких дополнительных таблиц, отдельное хранилище данных BI может оказаться избыточным. BI можно подключить непосредственно к источникам и быстрее запустить первые дашборды.

Такой подход особенно удобен на старте аналитического проекта. Он позволяет проверить, какие показатели действительно нужны пользователям, как часто они обращаются к отчётам и какие требования возникают к качеству данных.

Но по мере развития системы прямые подключения начинают создавать ограничения. Каждый новый источник требует отдельной настройки, одни и те же показатели могут рассчитываться по-разному, а сложные запросы начинают сильнее нагружать рабочие системы.

Поэтому прямое подключение BI хорошо работает, пока архитектура остаётся относительно простой. Если количество источников растёт, появляются расхождения и требования к историческим данным, следующим шагом обычно становится DWH или другой централизованный слой подготовки данных.

Когда компании нужно хранилище данных

DWH становится актуальным, когда прямые подключения BI к источникам начинают усложнять аналитику вместо того, чтобы упрощать её.

Обычно потребность в хранилище появляется в нескольких ситуациях:

• данные поступают из большого количества систем: 1С, CRM, ERP, WMS, маркетинговых платформ и других источников;
• одинаковые показатели в разных отчётах рассчитываются по-разному;
• сотрудникам приходится вручную сводить и проверять выгрузки;
• требуется хранить историю за несколько лет и анализировать изменения показателей;
• BI-запросы создают заметную нагрузку на рабочие системы;
• новые отчёты требуют всё большего количества отдельных подключений и преобразований;
• аналитикой одновременно пользуются разные подразделения, которым нужны согласованные данные.

В такой ситуации DWH становится отдельным слоем между рабочими системами и BI. Данные сначала собираются в хранилище, очищаются и приводятся к единым правилам, а уже затем используются для отчётности. Это позволяет избежать ситуации, когда финансы, продажи и маркетинг получают разные значения одного показателя из-за разных источников или логики расчёта.

Ещё одна важная задача DWH — историчность. Операционные системы прежде всего предназначены для текущей работы, поэтому хранить и анализировать в них большой объём исторических данных не всегда удобно. Корпоративное хранилище позволяет сохранять изменения и использовать их для анализа динамики за длительный период.

При этом необходимость DWH определяется не размером компании сама по себе. Даже крупная организация может начать с прямого подключения BI, если задача ограничена одним источником. И наоборот, компании среднего размера может потребоваться хранилище, если данные уже распределены между множеством систем и отчётность требует постоянного сведения.

Основной признак простой: если значительная часть работы с аналитикой уходит на подготовку, сверку и согласование данных, а не на сам анализ, отдельное хранилище данных начинает приносить практическую пользу.

Как BI, DWH и ETL работают в одном контуре

В аналитической архитектуре эти компоненты выполняют последовательные задачи. Упрощённо процесс можно представить так:

источники данных → ETL → DWH → витрины данных → BI

Источники данных — это системы, где информация появляется изначально: 1С, CRM, ERP, WMS, Excel, внешние сервисы и другие базы.

ETL забирает данные из этих источников, приводит их к нужному формату, очищает и загружает в хранилище. Например, если один и тот же контрагент в двух системах записан по-разному, на этапе преобразования данные можно привести к единому виду.

DWH хранит уже собранные и согласованные данные. В нём формируется единая основа для аналитики: общие справочники, правила расчёта показателей и история изменений.

Из DWH могут формироваться витрины данных — отдельные наборы под конкретные задачи. Например, витрина продаж может содержать выручку, клиентов, товары и менеджеров, а финансовая — доходы, расходы и показатели рентабельности.

Читать также: DWH, Data Lake, Lakehouse, Data Mart: ключевые отличия 

К этим витринам подключается BI-система, в которой пользователи уже работают с отчётами и дашбордами.

Такой подход помогает разделить подготовку данных и их анализ. BI не приходится каждый раз заново собирать и преобразовывать информацию из нескольких источников: он получает уже подготовленный набор для конкретной задачи.

При этом архитектура может быть проще. Если данных немного, BI иногда подключается напрямую к источникам или получает подготовленный набор без отдельного DWH. Полная схема с хранилищем и витринами нужна тогда, когда данные становятся сложнее, а требования к качеству, истории и согласованности показателей растут.

С чего начать построение аналитической архитектуры

Выбор между прямым подключением BI и полноценным контуром с DWH лучше начинать не с технологий, а с задач аналитики.

Сначала нужно определить:

• какие показатели действительно нужны бизнесу;
• кто будет ими пользоваться;
• из каких систем берутся исходные данные;
• как часто должна обновляться отчётность;
• нужно ли хранить историю изменений;
• какие справочники и показатели должны быть едиными для разных подразделений;
• насколько сильно аналитические запросы могут нагружать рабочие системы.

Если задача ограничивается несколькими отчётами по данным одной или двух систем, можно начать с BI без отдельного хранилища. Такой вариант быстрее запускается и позволяет проверить, какие отчёты действительно востребованы.

Если же данные распределены между множеством систем, требуют регулярного сведения и очистки, а пользователям нужна единая версия показателей, имеет смысл сразу проектировать DWH и витрины данных.

При этом не обязательно строить большое корпоративное хранилище сразу. Практичнее начинать с приоритетного направления — например, продаж или финансов — и создавать первую витрину под конкретный набор показателей. После проверки модели архитектуру можно постепенно расширять на другие процессы.

Главный ориентир — сложность самих данных и требований к аналитике. BI отвечает за удобную работу с показателями, а DWH и витрины становятся необходимы тогда, когда для получения этих показателей данные приходится постоянно собирать, согласовывать и преобразовывать.