Проблеми розробки й супроводу сховищ даних

Міністерство освіти і науки, молоді та спорту України

ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ

Зіноватна С.Л.

СХОВИЩА ДАНИХ ТА OLAP-СИСТЕМИ

Конспект лекцій

для студентів напряму

6.050103 - «Програмна інженерія»

Затверджено

на засіданні редакційно-видавничої ради ОНПУ

Протокол №8 від 16.01.2017

Одеса-2017

Рецензенти: В.А. Крісілов, д.т.н., проф.

О.Б. Кунгурцев, к.т.н. проф.

Зіноватна Світлана Леонідівна

Сховища даних та OLAP-системи. Конспект лекцій для студентів напряму 6.050103 – «Програмна інженерія» – О: ОНПУ, 2017. – 115 с.

Конспект містить докладний опис усіх питань, розглянутих під час вивчення дисципліни. Обсяг лекційного курсу складає 30 год.

Вивчаються такі основні розділи: поняття про системи підтримки рішень, OLAP-системи; структура сховища даних, вітрини даних, види архітектури та фактори. що впливають на вибір архітектури; багатомірні куби, види ієрархій, операції над кубами, агрегація даних; мова багатомірних виразів MDX, синтаксис оператору запиту, функції, кортежі та множини; підготовка даних для сховища; проблеми побудови сховища даних; структура робіт по створенню сховища даних.

Призначено для студентів денної та заочної форми навчання.

СПИСОКСКОРОЧЕНЬ

BI               –     business intelligence

DSS           –     decision support systems

EIS             –     executive information systems

FASMI      –     Fast Analysis of Shared Multidimensional Information

КМ             –     knowledge management

SQL           –     structured query language

ODBC       –     Open Data Base Connectivity

OLAP                    –     OnLine Analytical Processing

OLTP         –     OnLine Transaction Processing

TDWI        –     The Data Warehousing Institute

БД              –     база даних

ИАД          –     інтелектуальний аналіз даних

ИС             –     інформаційна система

ИТ              –     інформаційна технологія

ПО             –     програмне забезпечення

СППР                    –     система підтримки прийняття рішень

СУБД        –     система керування базами даних

ТЗ               –     технічне завдання

ХД             –     сховище даних

ПЕРЕДМОВА

Метою викладання дисципліни «Сховища даних та OLAP-Системи» є формування комплексу знань, вмінь та розумінь, а також здобуття навичок з використання принципів організації й оперування великими обсягами даних із застосуванням сучасних інформаційних засобів і технологій.

Для досягнення мети вивчення дисципліни студенти повинні навчитися проектувати багатомірну модель даних та структуру сховища даних; формулювати запитий до багатомірної бази даних; розуміти процеси виконання запитів в OLAP-Системах.

У результаті вивчення дисципліни студент повинен знаті:

- основні визначення, що відносяться до концепції керування сховищами даних;

- основні вимоги й засоби їхнього забезпечення для сховищ даних:

- способи підтримки високої швидкості одержання даних зі сховища та внутрішньої несуперечності даних;

- можливості одержання й порівняння зрізів даних;

- засоби підтримки якісного процесу поповнення даних;

- технології, що забезпечують маніпулювання сховищами даних;

- методологію створення корпоративних інформаційних систем.

Семестровий модуль 1
Змістовний модуль 1
Системи підтримки ухвалення рішення

ЛЕКЦІЯ №1
 ВВЕДЕННЯ в БІЗНЕС-ІНТЕЛЕКТ

Розглядаються такі питання:

· причини розвитку аналітичних засобів;

· поняття бізнес-інтелекту (BI);

· основні види аналітичної діяльності;

· інструменти сучасних BI-Засобів.

Одержання аналітичної звітності в інформаційних системах, заснованих на традиційних базах даних (БД), пов’язано з рядом обмежень:

· розробка кожного звіту вимагає роботи програміста;

· звіти формуються дуже повільно (найчастіше кілька годин), сповільнюючи при цьому роботу всієї інформаційної системи;

· дані, одержувані від різних структурних елементів компанії, не уніфіковані й часто суперечливі.

У багатьох компаніях у процесі складання звіту беруть участь два фахівці - програміст, що забезпечує запити до баз даних, і економіст, що намагається за допомогою електронних таблиць звести ці дані у звіт, необхідний керівництву. Як показує практика, подібна модель взаємодії користувача звіту (керівника) і самих даних часто приводить до ефекту «зіпсованого телефону», не говорячи вже про істотні витрати часу.

Економіст найчастіше виявляється просто не в змозі без допомоги програміста оперативно підготувати необхідну вибірку й відповісти на питання про те, яким способом були отримані ті або інші цифри. Звичайно, не йде й мови про те, щоб моделювати можливі ситуації, відслідковувати вплив одних показників на інші, прогнозувати тенденції розвитку, проводити порівняльний аналіз і відображати різні зрізи даних.

Швидка й адекватна реакція на зміну зовнішніх умов в остаточному підсумку визначає позицію, займану компанією на ринку. Якість інформації, уміння її обробляти й аналізувати, швидкість прийняття рішень за результатами цього аналізу – фактори, від яких залежить успіх або неуспіх компанії в конкурентній боротьбі.

Однак скористатися потенційною перевагою, що дає володіння інформацією, вдається не всім. По-перше, тому, що інформація, яку керівництво компанії одержує з різних джерел, розрізнена. По-друге, неповнота даних різко знижує продуктивність і якість аналізу. А найчастіше менеджерам, навпаки, доводиться мати справа із занадто великим потоком даних, що також утрудняє прийняття зваженого й обміркованого рішення. В обох випадках основна проблема в тім, що інформація, яку має менеджер компанії, не орієнтована на задачі керування бізнесом, і представлена вона в такій формі, що нею незручно користуватися в процесі прийняття управлінських рішень. Такі, наприклад, пропоновані багатьма системами керування стандартні набори звітів: менеджер одержує набір даних, але не засоби для їхнього аналізу.

Для адекватної оцінки ситуації й вироблення оптимального рішення необхідно певним чином класифікувати й систематизувати дані, відсіяти несуттєві факти й спроектувати наявні дані на конкретне бізнес-завдання.

Отже, перед компанією виникає задача перетворення «даних» в «інформацію», що відповідає потребам процесу аналізу й прийняття рішень. Для менеджера інформація – це сировина для прийняття рішень. До інформації, як до будь-якої сировини, пред'являються вимоги якості. Вона повинна бути бізнес-орієнтованою (оперативні дані перетворені в бізнес-зміст), актуальна (відповідати поточному стану бізнесу), доступна (кожному менеджерові в зручній формі й в обсязі, що відповідає посадовим обов'язкам), достовірна (коректна й перевірена), повна (що необхідно для ухвалення вірного рішення) і хронологічна.

Зараз у багатьох організаціях накопичені значні обсяги даних, на основі яких можна вирішувати різноманітні аналітичні й управлінські задачі. Проблеми зберігання й обробки аналітичної інформації стають усе більше актуальними, що привело до формування повноцінного ринку технологій бізнесу-аналізу.

В ідеалі робота аналітиків і керівників різних рівнів повинна бути організована так, щоб вони могли мати доступ до всієї їхньої інформації, яка потрібна, і користуватися зручними й простими засобами представлення й роботи із цією інформацією.

Агентство Gartner Group, що займається аналізом ринків інформаційних технологій, в 1980-х роках увело термін «Business Intelligence», діловий інтелект або бізнес-інтелект. Business Intelligence (BI) – це користувачевоцентріський процес, що включає доступ і дослідження інформації, її аналіз, виробіток інтуїції й розуміння, які ведуть до поліпшеного й неформального прийняття рішень. Цей термін запропонований для опису різних концепцій і методів, які поліпшують бізнес рішення шляхом використання систем підтримки прийняття рішень (СППР, DSS – Decision Support Sysytem).

В 1996 році агентство уточнило визначення даного терміна. BI – програмні засоби, які функціонують у рамках підприємства і які забезпечують функції доступу й аналізу інформації, що перебуває в сховищі даних, а також забезпечують прийняття правильних і обґрунтованих управлінських рішень.

TDWI (The Data Warehousing Institute) (www.dmreview.com): запропонувало наступне визначення «Business intelligence належить до процесу перетворення даних у знання, а знань у дії бізнесу для одержання вигоди. Є діяльністю кінцевого користувача, яку полегшують різні аналітичні й групові інструменти й застосування, а також інфраструктура сховища даних».

Іноді в це поняття BI включають і технологію керування знаннями Knowledge Management (КМ), яка, однак більше пов'язана з аналізом неструктурованої або слабоструктурованої інформації (наприклад, HTML), що не є предметом аналізу BI-інструментів. KM забезпечує категоризацію, розвідку й семантичну обробку текстів, розширений пошук інформації й ін. Технологія BI має відношення до аналізу фактографічної структурованої (бази даних, плоскі файли й інші ODBC або OLE DB-джерела даних) і квазіструктурованої інформації (наприклад, XML).

Історично назви й зміст інформаційно-аналітичних систем змінювалися від інформаційних систем керівника (executive information systems, EIS) до систем підтримки прийняття рішень (decision support systems, DSS) і зараз до систем бізнесу-інтелекту.

Застосування EIS були налаштовані на потреби керівників і менеджерів і давали можливість одержувати основну агреговану інформацію про стан їхнього бізнесу у вигляді таблиць або діаграм. Звичайно вони включали регламентні запити з набором параметрів. Такі пакети звичайно розроблялися силами своїх підрозділів інформаційних технологій (ІТ). Для одержання додаткової інформації й проведення подальшого аналізу застосовувалися інші застосування або створювалися за замовленням запити або звіти на SQL.

Застосування DSS першого покоління були пакетами прикладних програм з динамічною генерацією SQL-скриптів по типу запитуваної користувачем інформації. Вони дозволяли аналітикам одержувати інформацію з реляційних БД, не вимагаючи знання SQL. На відміну від EIS застосування DSS можуть відповідати на широкий спектр питань бізнесу, мають кілька варіантів представлення звітів і певні можливості форматування. Однак гнучкість таких пакетів все-таки була обмежена через орієнтацію на конкретний набір задач.

Із приходом персональних комп'ютерів і локальних мереж наступне покоління застосувань DSS будується вже на основі BI і дозволяє користувачеві-непрограмістові легко й оперативно витягати інформацію з різних джерел, формувати власні налаштовуванізвіти, або графічні представлення, проводити багатомірний аналіз даних. Розвиток систем бізнес-інтелекту пройшов шлях від «товстих» клієнтів до Web-застосувань, у яких користувач веде дослідження за допомогою браузера й може працювати віддалено. Можна також створювати сценарії «що якщо» і колективно переглядати й обновляти інформацію.

У цей час прийнято розрізняти наступні основні види аналітичної діяльності:

1) стандартна звітність;

2) нерегламентовані запити;

3) багатомірний аналіз (OLAP – online analytical processing);

4) інтелектуальний аналіз даних (розвідка даних – data mining).

Інтелектуальний аналіз даних (ІАД) розглядається як процес підтримки прийняття рішень, заснований на пошуку в даних схованих закономірностей.

Розвідка даних являє собою процес виявлення кореляції, тенденцій, шаблонів, зв'язків і категорій. Вона виконується шляхом ретельного дослідження даних з використанням технологій розпізнавання шаблонів, а також статистичних і математичних методів. При розвідці даних багаторазово виконуються різні операції й перетворення над сирими даними (відбір ознак, стратифікація, кластерізація, візуалізація й регресія), які призначені:

1) для знаходження представлень, які є інтуїтивно зрозумілими для людей, які, у свою чергу, краще розуміють бізнес-процеси, що лежать в основі їхньої діяльності;

2) для знаходження моделей, які можуть пророчити результат або значення певних ситуацій, використовуючи історичні або суб'єктивні дані.

Розвідка даних у значно меншому ступені направляється користувачем, замість цього покладається на спеціалізовані алгоритми, які встановлюють співвідношення інформації й допомагають розпізнати важливі (і раніше невідомі) тенденції, вільні від упередженості й припущень користувача.

Більшість методів ІАД розроблено в рамках теорії штучного інтелекту й прийнято розглядати його як процес підтримки прийняття рішень із використанням пошуку в даних схованих закономірностей (інформаційних шаблонів). У процесі ІАД витягають шаблони й тренди, що існують у даних. Такі шаблони й тренди можуть бути зібрані воєдино й визначені як модель інтелектуального аналізу даних.

Основними задачамиІАД є:

Класифікація (Classification). НайпоширенішазадачаІАД. У результаті рішення задачі класифікації виявляються ознаки, які характеризують групи об'єктів (класи). По цих ознаках новий об'єкт можна віднести до того або іншого класу.

Кластерізація (Clustering). Кластерізація є логічним продовженням ідеї класифікації. Цязадачабільш складна, особливість кластерізації полягає в тім, що класи об'єктів спочатку не визначені. Результатом кластерізації є розбивка об'єктів на групи.

Асоціація (Associations). У ході рішення задачі пошуку асоціативних правил відшукуються закономірності між зв'язаними подіями в наборі даних. Відмінність асоціації від двох попередніх задач Data Mining: пошук закономірностей здійснюється не на основі властивостей аналізованого об'єкта, а між декількома подіями, які відбуваються одночасно.

Послідовність (Sequence). Послідовність дозволяє знайти часові закономірності між транзакціями. Задача послідовності подібна асоціації, але її метою є встановлення закономірностей не між одночасно наступаючими подіями, а між подіями, зв'язаними в часі. Інакше кажучи, послідовність визначається високою ймовірністю ланцюжка зв'язаних у часі подій. Фактично, асоціація є окремимвипадком послідовності з часовим лагом, рівним нулю.

Прогнозування (Forecasting). У результаті рішення задачі прогнозування на основі особливостей історичних даних оцінюються пропущені або ж майбутні значення цільових чисельних показників. Для рішення таких задач широко застосовуються методи математичної статистики..

Аналіз відхилень (Deviation Detection). Даназадача вирішується з метою виявлення й аналіз даних, які найбільш відрізняються від загальної множини даних, тобто виявлення нехарактерних шаблонів.

При поставці сучасних BI-засобів використовуються різні інструменти й підходи. Більшість інструментів працюють спільно, хоча в процесі прийняття рішень вони грають різні ролі. Нижче перераховані інструменти BI:

- сервери реляційних баз даних;

- OLAP-сервери;

- сховища даних;

- вітрини даних;

- інструменти перетворення й очищення даних;

- інструменти звітності;

- інструменти аналізу й дослідження;

- засоби візуалізації;

- засоби розвідки даних (data mining);

- карти показників, портали й інструментальні панелі;

- електронні таблиці;

- засоби моделювання й прогнозування;

- аналітичні застосування.

Питання для самоперевірки

1. Опишіть причини розвитку аналітичних систем.

2. Поясніть, що розуміють під бізнес-інтелектом.

3. Які види аналітичної діяльності Ви знаєте?

4. Що розуміють під терміном «розвідка даних»?

5. Назвіть етапи розвитку інформаційно-аналітичних систем.

Методичні вказівки до лекції:[2, с. 58—89]; [4, с. 905–908]; [5, с. 981–998]; [6, с. 36-43]; [8, с. 524-529].

Вправи

1. Приведіть приклади аналітичних звітів для предметної області «Торгівля».

2. Проведіть порівняння між звітами для оперативної системи й аналітичної системи на основі прикладів.

ЛЕКЦІЯ №2
 ПОНЯТТЯ СХОВИЩА ДАНИХ

Розглядаються такі питання:

· основна ідея концепції сховища даних (СД);

· визначення СД;

· проблеми розробки й супроводу СД;

· переваги технології сховищ даних;

· основні компоненти СД.

В основі концепції СД лежить ідея розділення даних, використовуваних для оперативної обробки й для рішення задач аналізу, що дозволяє оптимізувати структури зберігання. СД дозволяє інтегрувати раніше роз'єднані деталізовані дані, які втримуються в історичних архівах, що накопичуються в традиційних OLTP-системах(OLTP - OnLine Transaction Processing), які надходять із зовнішніх джерел, у єдину базу даних, здійснюючи їхнє попереднє узгодження й, можливо, агрегацію.

Розробка СД – стратегічний проект. По суті – це основа всієї системи підтримки прийняття рішень у компанії. Тому ще до створення сховища виявляється коло осіб, що приймають рішення, вивчаються й аналізуються їхні інформаційні потреби. І вже після цього формуються вимоги власне до інформаційного сховища, а також до кількості, якості й структурі даних, що його наповнюють, які поступають із внутрішніх оперативних систем і із зовнішніх джерел.

Сховище даних(Data Warehouse) –предметно-орієнтований, інтегрований, немінливий, підтримуючий хронологію набір даних, організований для цілей підтримки прийняття рішень.

Предметна орієнтація– є фундаментальною відмінністю СД від оперативних систем. Різні оперативні модулі можуть містити дані, що описують ту саму предметну область із різних точок зору (наприклад, з погляду бухгалтерського обліку, складського обліку, планового відділу й т.п.). Рішення, прийняте на основі тільки однієї точки зору, може бути не ефективним або навіть не вірним. СД дозволяє інтегрувати інформацію, що відображає різні точки зору на одну предметну область.

Предметна орієнтація дозволяє також зберігати в СД тільки ті дані, які потрібні для їхнього аналізу (наприклад, для аналізу немає необхідності зберігати інформацію про номери документів купівлі-продажу, у той час як їхній уміст – кількість, ціна проданого товару – необхідно).

Інтеграція– інформаційні системи, як правило, розробляються в різний час різними постачальниками. Це приводить до того, що дані, що відображають той самий об'єкт реального світу в різних системах, описують по-різному. Обов'язкова інтеграція даних у СД дозволяє вирішити цю проблему, привівши дані до єдиного формату. Часто багато систем, переходячи з версії на версію, частково або повністю не підтримують сумісність даних. Використання СД дозволить використовувати інформацію з нових і старих версій облікових систем для аналізу даних.

Підтримка хронології– дані в облікових системах необхідні для виконання операцій над ними в сучасний момент часу. Тому вони можуть не мати прив'язки до часу. Для аналізу даних часто важливо мати можливість відслідковувати хронологію змін показників предметної області. Тому всі дані, що зберігаються в СД, повинні відповідати послідовним інтервалам часу.

Незмінюваність– вимоги до облікових систем накладають обмеження на час зберігання в них даних. Ті дані, які не потрібні для оперативної обробки, як правило, видаляються з облікової системи для зменшення займаних ресурсів. Для аналізу, навпаки, потрібні дані за максимально більший період часу. Тому, на відміну від облікових систем, над даними в СД після завантаження виконують тільки операції читання. Це дозволяє істотно підвищити швидкість доступу до даних, як за рахунок можливої надмірності інформації, що зберігається, так і за рахунок виключення операцій модифікації.

СД функціонує по наступному сценарії: по заданому регламенті в нього збираються дані з різних джерел - БД систем оперативної обробки. У СД підтримується хронологія: нарівні з поточними зберігаються історичні дані із вказівкою часу, до якого вони відносятся. У результаті необхідні доступні дані про об'єкт керування збираються в одному місці, приводяться до єдиного формату, погоджуються й, у ряді випадків, агрегуються до мінімально необхідного рівня узагальнення.

Незважаючи на те, що СД містять свідомо надлишкову інформацію, що і так є в базах або файлах оперативних систем, поява концепції СД викликана тим, що аналізувати дані оперативних систем прямо неможливо або дуже важко. Це пояснюється:

· розрізненістю даних (системи обробки оперативних даних, текстові звіти, xls-файли);

· зберіганням їх у форматах різних СКБД і в різних вузлах корпоративної мережі. Але навіть якщо на підприємстві всі дані зберігаються на центральному сервері БД (що буває вкрай рідко), аналітик важкорозібратися в їх складних, часом заплутаних структурах;

· складні аналітичні запити до оперативної інформації гальмують поточну роботу компанії, оскільки надовго блокують таблиці й захоплюють ресурси сервера.

Хоча з формальної точки зору СД являє собою різновид звичайної БД, проектують їх по-різному.

Для звичайних БД процес створення включає наступні етапи:

· вивчення предметної області;

· побудова інформаційної моделі;

· розробка на основі інформаційної моделі проекту БД;

· створення БД.

Обов'язкові етапи створення ХД інші:

· визначення інформаційних потреб користувачів відносно даних, які накопляються в БД систем обробки транзакцій, що є джерелами даних для СД;

· вивчення локальних БД систем обробки оперативних даних;

· виділення для кожної БД підмножини даних, необхідних для завантаження в СД;

· інтегрування локальних підмножин даних і розробка загальної погодженої схеми сховища.

Проблеми розробки й супроводу сховищ даних

1) Недооцінка ресурсів, необхідних для завантаження даних

Часто розроблювачі недооцінюють час, необхідне для витягу, очищення й завантаження даних у сховище. Для виконання цього процесу може знадобитися значна частина загального часу розробки. Але ця доля може в остаточному підсумку значно скоротитися при використанні більш досконалих інструментів очищення й супроводу даних.

2) Приховані проблеми джерел даних

Приховані проблеми, пов'язані із джерелами даних, що поставляють інформацію в сховище, можуть бути виявлені тільки через кілька років після початку їхньої експлуатації. При цьому розроблювачеві доведеться прийняти рішення про усунення виниклих проблем у сховище даних і/або в джерелах даних. Наприклад, після уведення даних про новий об'єкт нерухомості деякі поля можуть залишитися незаповненими (містити значення NULL) у результаті того, що співробітник у свій час увів у базу даних неповні відомості про цей об'єкт, незважаючи на те, що вони були в наявності й були необхідні.

3) Відсутність необхідних даних у наявних архівах

У сховищах даних часто виникає потреба одержувати деякі відомості, які не враховувалися в оперативних системах, що служать джерелами даних. У такому випадку організація повинна вирішити, стоїть їй модифікувати існуючі системи OLTP або ж створити нову систему по збору відсутніх даних. Наприклад, може виникнути необхідність аналізу реєстрації нових клієнтів і об'єктів нерухомості в кожному відділенні компанії. Однак це неможливо, оскільки для виконання такого аналізу бракує відомостей про дату реєстрації об'єктів або клієнтів.

4) Підвищення вимог кінцевих користувачів

Після того як кінцеві користувачі отримають у своє розпорядження інструменти складання запитів і звітів, їхні потреби в допомозі й консультаціях співробітників інформаційної служби організації скоріше зростуть, чим скоротяться. Це викликано тим, що користувачі сховища даних починають більшою мірою усвідомлювати можливості й значення цього інструмента. Дану проблему можна частково розв'язати, використовуючи менш потужні, але прості й зручні інструменти або приділяючи більшу увагу навчанню користувачів. Ще однією причиною збільшення навантаження на співробітників інформаційної служби організації є те, що після запуску сховища даних зростає кількість користувачів і запитів, причому складність запитів також істотно збільшується.

5) Уніфікація даних

Створення великомасштабного сховища даних може бути пов'язане з вирішенням задачі уніфікації даних, що у свою чергу здатна зменшити цінність зібраної інформації. Наприклад, при створенні консолідованого й інтегрованого представлення даних розроблювач сховища даних може підкреслити подібність, а не розходження між даними, які використовуються в таких різних прикладних областях, як продаж і оренда об'єктів нерухомості.

6) Високі вимоги до ресурсів

Для сховища даних може знадобитися величезний обсяг дискового простору. При наявності множини розмірностей фактичних даних для зберігання таблиць фактів разом з підсумковими даними й індексами може знадобитися набагато більше місця, чим для зберігання вихідних неопрацьованих даних.

7) Володіння даними

Створення сховища даних може зажадати зміни статусу кінцевих користувачів відносно прав володіння даними. Конфіденційні дані, які раніше були доступні для перегляду й використання тільки окремими підрозділами організації, зайнятими в певних ділових сферах (наприклад, продаж або маркетинг), тепер доведеться зробити доступними й іншим співробітниками організації.

8) Складний супровід

Будь-яка реорганізація ділових процесів або джерел даних може відбитися на роботі сховища даних. Для того щоб сховище даних завжди залишалося коштовним ресурсом, необхідно, щоб воно постійно відповідало поточному стану організації, роботу якої воно підтримує.

9) Довгостроковий характер проектів

Сховище даних являє собою єдиний інформаційний ресурс організації. Однак для його створення може знадобитися до трьох років, тому багато організацій спочатку формують вітрини даних, які призначені для підтримки роботи тільки якогось одного відділення організації або однієї її прикладної області, тому створити їх можна набагато швидше.

10) Складності інтеграції

Організація повинна витратити значний час, щоб визначити, наскільки добре можуть інтегруватися різні інструментальні засоби сховища даних для одержання шуканого загального рішення. Це досить важке завдання, оскільки для виконання різних операцій зі сховищем даних можуть використовуватися самі різні інструментальні засоби.