OLAP: Penjelasan tentang tekniknya dalam Data Warehouse

Apa itu OLAP?

OLAP atau Online Analytical Processing adalah teknologi database yang telah dioptimalkan untuk membuat kueri dan pelaporan, dan bukan memproses transaksi. serta merupakan desain dari aplikasi serta teknologi yang bisa mengumpulkan,  menyimpan, serta memanipulasi data multidimensi sebagai tujuan analisis.

Ilustrasi singkat proses OLAP

Menghasilkan Business Intelligence. Data sumber untuk OLAP adalah database Pemrosesan Transaksi online (OLTP, Online Transactional Processing) yang umumnya disimpan di gudang data. contoh lainnya adalah mesin ATM.

Menurut Scheps, OLAP merupakan konsep data multidimensional dengan konsep mentualisasi data transaksional perusahaan. OLAP tidak hanya mengagregasi data namun juga memiliki kemampuan pada sistem BI (Business Intelligence) untuk melihat data menggunakan cara baru.

Apa saja Teknik OLAP?

OLAP memiliki beberapa teknik yaitu Fast, Analysis, Shared, Multidimensional, dan Information yang dijelaskan secara masing-masing sebagai berikut:

• Fast

Sistem memiliki target untuk memberikan respon secepat mungkin pada pengguna menurut analisis yang dilakukan.

• Analysis

Sistem mampu mengatasi berbagai logika bisnis serta analisis statistik yang relevan dengan aplikasi dan pengguna.

• Shared

Sistem melakukan keseluruhan keperluan pengamanan data, yang mana apabila diperlukan banyak akses penulisan tentang data maka perlu disesuaikan dengan level pengguna. Karena tidak seluruh aplikasi memerlukan pengguna menulis data kembali, maka sistem harus bisa menyelesaikan multiple update dalam satu waktu dengan aman.

• Multidimensional

Sistem harus memberikan conceptual view dari data secara multidimentional, baik full support hierarki maupun multiple support hierarki. Hal ini merupakan cara logis untuk melakukan analisis bisnis serta organisasi.

• Information

Seluruh data serta informasi yang diperlukan dan relevan bagi aplikasi. Kapasitas produk OLAP tidak sama dalam menghandle input data, yang tergantung pada beberapa pertimbangan yaitu: duplikasi data, penggunaan disk space, penggunaan RAM, performance, integrasi terhadap data warehouse, dan sebagainya.

OLAP Cube: Penjelasannya dalam Data Warehouse

Apa itu OLAP Cube?

Merupakan struktur data yang memudahkan proses analisis menjadi lebih cepat berdasarkan dimensi ganda yang dijabarkan masalah bisnis. contohnya adalah dimensi ganda yang digunakan untuk laporan penjualan, berisi 7 Dimensi, yaitu Salesperson, Sales Amount, Region, Product, Region, Month, Year

Gambaran dari OLAP Cube

Pada umumnya, pengoperasian data dan analisis menggunakan spreadsheet sederhana, dimana datanya disusun secara kolom dan baris. penggunaan seperti ini ideal dipakai untuk data dua dimensi.

Tamplilan Spreadsheet

Namun khusus untuk OLAP yang berisi data multidimensi, data yang didapat dari sumber yang berbeda dan tidak berhubungan satu sama lain. menggunakan spreadsheet bukanlah cara yang optimal, jadi lebih baik menggunakan Cube karena dapat menyimpan dan menganalisis data multidimensi dengan logical dengan baik.

Cara Kerjanya Pada Data Warehouse?

Data Warehouse dapat mengekstrak suatu informasi dari berbagai sumber dan format, seperti file excel, multimedia, html dan lain lain.

Ilustrasi cara kerja OLAP Cube

Data yang telah diekstrak dibersihkan dan ditransformasi, lalu data diproses menuju server OLAP. yang mana informasinya dipersiapkan untuk dikalkukasi agar dapat dianalisis lebih lanjut

OLAP: Karakteristiknya pada Data Warehouse

Apa itu OLAP?

OLAP atau Online Analytical Processing adalah teknologi database yang telah dioptimalkan untuk membuat kueri dan pelaporan, dan bukan memproses transaksi. serta merupakan desain dari aplikasi serta teknologi yang bisa mengumpulkan,  menyimpan, serta memanipulasi data multidimensi sebagai tujuan analisis.

Menghasilkan Business Intelligence. Data sumber untuk OLAP adalah database Pemrosesan Transaksi online (OLTP, Online Transactional Processing) yang umumnya disimpan di gudang data. contoh lainnya adalah mesin ATM.

Menurut Scheps, OLAP merupakan konsep data multidimensional dengan konsep mentualisasi data transaksional perusahaan. OLAP tidak hanya mengagregasi data namun juga memiliki kemampuan pada sistem BI (Business Intelligence) untuk melihat data menggunakan cara baru.

Karakteristik dari OLAP

Dengan menggunakan OLAP, ada beberapa karakteristik yang dapat untuk dapat mengidentifikasinya, yaitu:

• Mengizinkan bagi para pelaku bisnis untuk mempunyai pandangan logical serta multi dimensional terhadap data dalam data warehouse.
• Memberi fasilitas pada analisis query secara interaktif dan kompleks bagi pengguna.
• Mengizinkan pengguna dalam melakukan drilldown sehingga memperoleh rincian secara lebih jelas atau roll up untuk agregasi metric selama satu dimensi bisnis atau pun multi dimensi.
• Mempunyai kemampuan untuk menyajikan perhitungan yang rumit serta perbandingan.
• Menyajikan hasil dalam berbagai cara yang mempunyai arti dalam bentuk gambar maupun diagram.

OLAP: Manfaat Penggunaannya pada Data Warehouse

Apa itu OLAP?

OLAP atau Online Analytical Processing adalah teknologi database yang telah dioptimalkan untuk membuat kueri dan pelaporan, dan bukan memproses transaksi. serta merupakan desain dari aplikasi serta teknologi yang bisa mengumpulkan,  menyimpan, serta memanipulasi data multidimensi sebagai tujuan analisis.

Menghasilkan Business Intelligence. Data sumber untuk OLAP adalah database Pemrosesan Transaksi online (OLTP, Online Transactional Processing) yang umumnya disimpan di gudang data. contoh lainnya adalah mesin ATM.

Menurut Scheps, OLAP merupakan konsep data multidimensional dengan konsep mentualisasi data transaksional perusahaan. OLAP tidak hanya mengagregasi data namun juga memiliki kemampuan pada sistem BI (Business Intelligence) untuk melihat data menggunakan cara baru.

Manfaat OLAP

Dengan menggunakan OLAP, ada beberapa manfaat/keuntungan yang didapatkan, yaitu:

• Dapat melakukan drill down atau roll up dalam setiap dimensi
• Mendukung analisis multidimensional
• Memiliki kemampuan untuk mengaplikasikan formula matematika dan pengukuran kalkulasi
• Memberikan respon secara cepat dan memfasilitasi pemikiran cepat
• Dapat diimplementasikan pada web
• Dirancang untuk analisis interaktif tingkat tinggi
• Dapat mengorganisasi matrics selama beberapa dimensi dan memungkinkan data dapat dilihat dari perspektif berbeda

Extraction: Penjelasan dan Contohnya dalam Data Warehouse

Apa itu Extraction

Exctraction atau Esktraksi dalam ETL, merupakan proses ekstraksi data dari berbagai sumber dengan tujuan untuk mengisi Penyimpanan Data. Data yang dimaksud tidak seluruh data, namun hanya data yang diperlukan saja.

Mendesain dan menjalankan proses Extraction seringkali menjadi tugas yang paling memakan waktu dalam melakukan ETL pada Data Warehouse. salah satu alasannya karena source dari sistem yang memiliki kompleksitas tingkat tinggi dan tidak didokumentasi dengan baik, akibatnya pemilihan kebutuhan data menjadi sulit.

Metode Extraction Data

Terdapat 2 metode pada ekstraksi data, yaitu:

• Full Extraction, merupakan proses data yang diambil sepenuhnya dari sumber sistem. karena proses ini mengambil semua data saat ini yang tersedia pada sumber, tidak perlu memantau data apa saja pada source.
• Incremental Extraction, merupakan proses pengambilan data yang secara spesifik mengambil data yang memiliki kualitas penjabaran paling baik

Prinsip Extraction Data

Ada beberapa prinsip dasar ekstraksi data yaitu :

• Volume data yang digunakan berukuran besar (big data)
• Proses ekstraksi dilakukan secepat mungkin, sehingga membutuhkan memory yang cukup besar.
• Proses ekstraksi dilakukan sebisa mungkin menjadi kecil

Apa Saja Contohnya?

• Mengekstrak flat files secara offline
• Mengekstrak meta data dari penyimpanan online

Loading: Penjelasan dan Contohnya dalam Data Warehouse

Apa itu Loading

Loading merupakan proses paling akhir dalam ETL(Exctract, Transformation, Loading) yaitu saat data telah diolah dan disimpan pada Data Warehouse lalu ditampilkan ke aplikasi lalu dapat diakses oleh End User

Metode Load

Terdapat 2 metode untuk pemrosesan dalam Data Warehouse:

• Refresh, disebut juga dengan menuliskan kembali secara keseluruhan data pada Data Warehouse secara periode interval
• Update, disebut juga menuliskan kembali namun yang berubah hanya disumber data saja

Apa Saja Contohnya?

ada beberapa contoh yang dapat diberikan dalam proses load atau pemuatan, yaitu seperti pada berikut ini:

• Memproses data Excel dan Database yang telah siap untuk disimpan dan mengarahkan ke penyimpanan Database dan Excel yang sebelumnya telah ditentukan untuk ditampilkan pada aplikasi
• Memproses data valid XML yang telah diubah ke penyimpanan nya untuk disimpan dan dapat ditampilkan pada aplikasi

Transformation: Penjelasan dan Contohnya dalam Data Warehouse

Apa itu Transformation

Transformasi merupakan proses mengubah data mentah dari hasil ekstraksi menjadi data yang modelnya sesuai dengan kaidah bisnis yang sebelumnya telah ditentukan. singkatnya mengubah format data dari sumber ke format data warehouse.

Kombinasi data dilakukan dari sumber record tunggal, atau dapat juga dilakukan dari elemen data yang berelasi dengan banyak sumber record. Proses cleaning mungkin dilakukan dalam data transformation, dimana proses cleaning memiliki fungsi untuk melakukan koreksi terhadap kesalahan pengejaan, atau untuk melakukan eliminasi terhadap duplikat data

Prinsip dari Transformasi data

• Leakage (kebocoran) terjadi ketika proses ETL mengunduh data secara lengkap dari sumber data, namun pada kenyataannya terdapat beberapa record data yang hilang.
• Recoverability (pemulihan) berarti bahwa selama proses ETL harus robust. Robust merupakan kemampuan algoritma untuk mengembalikan hasil yang benar, sehingga jika terjadi kegagalan, hal tersebut bisa segera dipulihkan tanpa kehilangan atau kerusakan data.

Apa Saja Contohnya?

ada beberapa contoh yang dapat diberikan dalam pengubahan format, yaitu seperti pada berikut ini:

• Mengubah format data mentah dari penjualan menjadi format SQL dan Excel 2013 keatas
• Mengubah format data mentah tahun penjualan berformat txt menjadi DBO untuk kepentingan database pada data warehouse
• Mengubah format XML ke Schema XML yang lainnya dan melakukan sebaliknya

Desain Skema Data Warehouse – Star, Snowflake, dan Fact Constellations

Pengertian Schema Data Warehouse

Skema merupakan deskripsi logika dari keseluruhan database. termasuk dengan nama dan keterangan lengkap dari semua item rekaman data. Model yang sering digunakan di dalam data warehouse saat ini adalah Star Schema, Snowflake Schema, dan Fact Constellations Schema. Masing-masing model skema tentunya memiliki kelebihan dan kekurangannya masing-masing.

Star Schema

Merupakan schema yang paling simpel dan efektif digunakan untuk Data Warehouse, dengan Fact Table yang menjadi titik tengah dikelilingi oleh Dimension Tables yang menjadikan terlihat mirip bintang

Contoh:

Desain Star Schema

Snowflake Schema

Snowflake merupakan hasil ekspansi dari Star Schema, dengan beberapa proses yang ada di schema star di normalisasikan. setiap Fact Table berhubungan dengan sebuah tabel yang memiliki foreign key nya tersendiri, hasilnya menyerupai bentuk snowflake atau kepingan salju

Contoh:

Desain Snowflake Schema

Fact Constellations Schema

Pada schema ini, Fact Table ada lebih dari satu yang saling berbagi Dimension Tables yang sama. penyusunan dari Fact Tables dan Dimension Tables mirip dengan sekumpulan bintang di langit malam, karena itulah diberi nama lain Galaxy Schema

Contoh:

Desain Fact Constellations Schema

Fact Constellations Scheme: Penjelasan pada Data Warehouse

Apa itu Fact Constellations Scheme?

Merupakan skema yang menjelaskan struktur logika dari sebuah Data Warehouse atau Data Mart. Fact Constellation Schema dapat juga mendesain dengan kumpulan Fact, Shared dan Dimension tables yang sudah di de-normalisasi.

Data warehouse dan OLAP dibangun berdasarkan multidimensional data model. Pada model ini diperlukan tabel fakta dan tabel dimensi.

Tabel fakta berisi fakta numerik yang memiliki ciri-ciri yaitu panjang, kurus, dan besar, serta sering  berubah dan berguna untuk mengukur (measure). Sedangkan tabel dimensi berisi kolom yang bersifat desktiptif, kecil, pendek, dan lebar yang berguna untuk filtering (menyaring) dan didasarkan pada atribut dimensi. 

Penerapan pada Data Warehouse

Information Processing

Pada penerapannya, biasanya berhubungan dengan queiry, analisis statistik dan pelaporan melalui via tables, charts atau graphs. Biasanya, Information Processing dari Data Warehouse digunakan untuk membangun dengan biaya yang murah, serta berbasis web yang toolsnya terintegrasi dengan web browser.

Analytical Processing

Mendukung berbagai prosesing analisis secara online seperti drill-down, roll-up dan pivoting. Data historis yang diproses secara summarize dan format mendetail.

OLAP is implemented on data warehouses or data marts. The primary objective of OLAP is to support ad-hoc querying needed for support DSS. The multidimensional view of data is fundamental to the OLAP application. OLAP is an operational view, not a data structure or schema. The complex nature of OLAP applications requires a multidimensional view of the data.

OLAP di implementasikan ke Data Warehouse atau Data Marts. tujuan utama dari OLAP ialah untuk mendukung ad-hoc queri yang dibutuhkan untuk mendukung DSS. Multidimensional view merupakan data yang fundamental untuk penerapan OLAP. OLAP sendiri operational view, bukan struktur data ataupun skema. Sifat komplkeksitas dari aplikasi OLAP yang menjadikan alasan kenapa perlu menggunakan multidimensional view.

Data Mining

Dengan melakukan proses ini, dapat membantu proses analisis dari desain yang tersembunyi atau yang di asosiasikan, membangun model saintifik, mengoperasikan klasifkasi dan prediksi dan menampilkan hasil mining dengan menggunakan tools visualization.

Data Mining sendiri merupakan teknik yang didesain untuk kebutuhkan pencari korelasi, pattern dan tren baru dengan mengubah banyak jumlah data di repositori menggunakan teknologi pengenalan pattern.

Kelebihan

Ada beberapa kelebihan, yaitu:

• Tables di bagi menjadi fact dan dimensional untuk membedakan hubungan diantara keduanya.
• Merupakan schema yang fleksibel
• Dimensional Tables dibagi dengan nomor yang terdapat di Fact Tables
• Merupakan bentuk normalisasi dari snowflake dan star schema
• Dapat mengakses data di database dengan perintah queri yang kompleks

Kekurangan

ada beberapa kekurangan, yaitu:

• Sulit dimengerti karena menggunakan schema yang sangat kompleks untuk di implementasikan
• Menggunakan lebih banyak ruang penyimpanan di Database jika dibandingkan dengan Star Schema
• Memiliki banyak relasi Joins diantara dimensional dan fact tables yang sukar untuk dipahami
• Sulit untuk di maintain dan di operasikan

Snowflake Scheme: Penjelasan serta perbedaannya pada Data Warehouse

Apa itu Snowflake Scheme?

Merupakan skema pada Data Warehouse yang berfungsi untuk menyimpan data yang sama seperti pada Star Schema. Tabel fakta yang digunakan pada Star Schema maupun pada Snowflake Schema berisi field-field yang sama. Perbedaan utama ada pada semua tabel dimensi pada Snowflake Schema yang telah dinormalisasi. Proses normalisasi tabel-tabel dimensi ini disebut dengan proses snowflaking,sehingga tampilan tabel-tabel pada Snoflake Schema bentuknya menyerupai snowflake.

Normalisasi

Berbeda dengan Star Schema, Snowflake Schema memiliki normalisasi karena menggunakan ruang penyimpanan yang lebih kecil dibandingkan ruang penyimpanan pada Star Schema. Hal ini disebabkan karena tabel-tabel dimensi yang telah dinormalisasi memiliki record-record yang efisien karena tidak terjadi pengulangan data-data yang sama.

Dimension Tables

Merupakan penyimpanan informasi pendukung untuk Fact table. sama seperti Star Schema tiap Snowflake Schema setidaknya memiliki satu Dimension Table.

Fact Tables

Merupakan tabel yang berisi Primary Data yang secara spesifik dapat diukur untuk dianalisa, seperti Catatan Penjualan, Data Performa Pekerjaan atau Data Finansial. dapat juga berupa Data Transaksi

Kelebihan

Ada beberapa kelebihan, yaitu:

• Ukuran data lebih kecil di dalam tempat penyimpanan
• Lebih mudah dilakukan maintenance dan update
• Proses query lebih cepat pada saat proses ETL

Kekurangan

ada beberapa kekurangan, yaitu:

• Cenderung lebih sulit dipahami karena kompleksitasnya
• Sulit mencari data yang dibutuhkan karena melihat strukturnya yang kompleks dan bercabang-cabang