|
|
|
Обзор
задач хранения, обработки и анализа данных корпоративного уровня. Д.В.Гусев, студ.; рук. О.И.Артюхов, к.т.н., доцент (МЭИ(Технический университет), г.Москва Россия) На сегодняшний день многие
промышленные и торгующие компании уже построили у себя информационные системы
для накопления транзакционных данных. Теперь перед управляющим персоналом
компаний стоит задача не только «знать», но и задача «понимать». Решением этих
задач и занимаются системы сектора Business Intelligence (BI). Русский перевод этого
термина не устоялся, но термин «Интеллектуальный анализ данных» наиболее точно
отражает их суть. Далее будут описаны основные задачи BI: 1. Отчетность. Эта задача относится к задачам BI,
хотя в основном решает задачи отображения транзакционных данных. Ее можно
характеризовать работой с достаточно небольшими объемами данных, наличием
понятного для неподготовленного пользователя простого в изучении интерактивного
интерфейса. 2. OLAP. Данные современных
предприятий (особенно в торговле) в основном большинстве являются многомерными.
Поэтому для их исследования необходимы особые средства – средства OLAP.
Для OLAP-анализа используются особый
формат хранения данных – «многомерный куб». OLAP предоставляет пользователю возможность смотреть
данные в разрезе любых измерений с любым уровнем детализации. Point-n-click drag-n-drop интерфейс позволяет быстро
сменить разрез, погрузиться (drill-down)
или сменить (drill-through)
«куб». 3. Хранилища данных (Data Warehouse).
Для проведения аналитических исследований больших объемов данных транзакционные
данные непригодны (из-за частых изменений). Поэтому для анализа в BI
данные обычно выгружаются в хранилища (характеризуемые статичностью (данные не
изменяются) и периодической догрузкой данных). Хранилища оптимизированы для
работы с очень большими объемами данных, быстрых выборок по определенным
критериям. Отдельно выделяется задача загрузки хранилища – «Извлечение –
Преобразование – Загрузка» (процедура ETL). 4. ETL. Эта процедура должна
извлекать данные из источников различных типов (от плоских файлов и электронных
таблиц до СУБД корпоративного уровня), «очищать» данные (контролировать
неверные значения, преобразовывать форматы данных к единому формату, например,
формат даты) и выгружать согласованные, унифицированные, очищенные данные в
хранилище. Эта процедура очень важна при консолидации разрозненных данных
наследованных ИС предприятия. 5. Добыча данных (data mining).
Кроме анализа данных с помощью средств визуализации данных в BI есть
автоматические средства выявления зависимостей и прогнозирования. Мощный мат
аппарат, заложенный в основу этих средств, позволяет выявить значимость
переменных при построении матмодели процесса, использовать различные методы
прогнозирования, строить нейронные сети и т.д. |