Чем мы будем здесь заниматься.

Всем привет!

Данный пост является вводным. Я кратко опишу с чем мы будем работать и составлю план тех тем, которые я буду освещать в своем блоге в ближайшее время.


Немного теории

Так как мы с вами будем строить хранилище, нам важно понимать для чего мы это делаем.  Как вы знаете или догадываетесь, базы данных предназначены для разных целей. Наиболее распространенные решения, которые предлагает рынок IT, это OLAP и OLTP.
(OLAP используется для анализа данных, OLTP для их ввода и обработки)
Мы будем строить OLAP на основе DWH.
 
База данных будет реляционной, приведенной к Третей нормальной форме.
Также, для наглядности, мы поднимем несколько систем источников на разных СУБД.
Для удобной загрузки данных в хранилище мы будем использовать ETL (Extract, Transform, Load).

Данное средство управления DWH работает следующим образом:

• Выгружаем данные из системы источника; 
• Трансформируем в нужный вид;
• Загружаем в хранилище. 

 ПО, которое мы будем использовать:

Все системы будем запускать на Oracle VM VirtualBox.
Хранилище будем строить на основе Oracle Exadata. Это относительно новая система на рынке хранилищ данных, которая достаточно популярна в данный момент.

Системы-источники будут на СУБД: Oracle, MySQL, MS SQL SERVER, возможно, PostgreSQL, плоские файлы, excel файлы.  
ETL-инструментом будет Oracle Data Integrator(ODI).

В процессе мы построим несколько несложных баз данных. Предметной областью будет вымышленная компания "Сеть магазинов бытовой техники", которая будет иметь следующие БД:  Кассы, сервисный центр, интернет магазин, колл центр. Это и будут наши системы-источники. Для них мы сгенерируем данные, на основе которых построим наше хранилище.


Итак, что будет рассматриваться в следующих постах:

1. Как поставить ОС на виртуальную машину.
2. Как поставить Oracle . Создание БД для касс магазина.
3. Как поставить MySQL. Создание БД для интернет магазина.
4. Как поставить MS SQL. Создание БД для колл-центра и сервисного центра.
5. Как поставить Exadata. Создание схемы хранилища.
6. Как поставить Oracle Data Integrator.
7. Как загрузить данные в DWH с помощью ODI.
8. Как строить отчеты на основе нашей системе.
9. Придумаю позже =)


Термины

Материал из Википедии — свободной энциклопедии

  

OLAP (online analytical processing, аналитическая обработка в реальном времени) — технология обработки данных, заключающаяся в подготовке суммарной (агрегированной) информации на основе больших массивов данных, структурированных по многомерному принципу. Реализации технологии OLAP являются компонентами программных решений класса Business Intelligence. Основоположник термина OLAP — Эдгар Кодд, предложил в 1993 году «12 законов аналитической обработки в реальном времени».

OLTP (Online Transaction Processing, транзакционная система) — обработка транзакций в реальном времени. Способ организации БД, при котором система работает с небольшими по размерам транзакциями, но идущими большим потоком, и при этом клиенту требуется от системы минимальное время отклика.
Термин OLTP применяют также к системам (приложениям). OLTP-системы предназначены для ввода, структурированного хранения и обработки информации (операций, документов) в режиме реального времени.

DWH(Data Warehouse, Хранилище данных) — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации. Строится на базе систем управления базами данных и систем поддержки принятия решений. Данные, поступающие в хранилище данных, как правило, доступны только для чтения. Данные из OLTP-системы копируются в хранилище данных таким образом, чтобы построение отчётов и OLAP-анализ не использовал ресурсы транзакционной системы и не нарушал её стабильность. Как правило, данные загружаются в хранилище с определённой периодичностью, поэтому актуальность данных может несколько отставать от OLTP-системы.
ETL (Extract, Transform, Load, «извлечение, преобразование, загрузка») — один из основных процессов в управлении хранилищами данных, который включает в себя:

• извлечение данных из внешних источников;
• их трансформация и очистка, чтобы они соответствовали нуждам бизнес-модели;
• и загрузка их в хранилище данных. 

Всем добра. Надеюсь, скоро увидимся снова.