Tutorial DQS SQL Server (Data Cleansing dan Data Matching)

Tutorial DQS SQL Server (Data Cleansing dan Data Matching)

Hallo, Assalamualaikum

Perkenalkan nama saya Arlisa Kumala Rofik, kali ini saya akan menjelaskan tutorial melakukan proses Cleansing dan Matching pada sebuah data yang berjudul Adventure Works pada aplikasi Data Quality Service (DQS) dengan menggunakan database SQL SERVER untuk menyelesaikan matakuliah Kualitas Data dari Institut Bisnis dan Informatika Stikom Surabaya.  

Untuk step pertama kalian bisa siapkan data yang akan dilakukan cleansing dan matching format data kalian bisa menggunakan SQL Server, Excel atau CSV, tetapi kali ini saya akan memberikan contoh dengan menggunakan SQL Server. 

Gambar 1. Database SQL Server

Langkah Membuat Domain Rule di Data Quality Service (DQS) 

1. Lakukan Import Domain Rule di Knowledge Base Management

Gambar 2. Import Domain Rule

2. Masukan dimana data itu berada dengan format [nama_file].dqs 

Gambar 3. Browse Data

3. Jika sukses akan muncul tampilan seperti dibawah ini

Gambar 4. Tampilan Data Sukses di Import

4. Jika ditekan Next maka akan muncul tampilan seperti dibawah ini dan tiap domain sudah berisi rule yang telah di buat sebelum nya

Gambar 5. Domain Rule

5. Jika sudah klik finish dan klik publish maka secara otomatis Domain Rule tersebut telah terbuat didalam Data Quality Service (DQS)

Gambar 6. Publish Domain Rule

Langkah Membuat Domain Rule di Data Quality Service (DQS) sudah dilakukan kemudian lanjut ke langkah selanjutnya

Langkah Melakukan Cleansing Data

1. Create New Data Quality Project

Gambar 7. Interface Data Quality Service (DQS)

2. Buat nama project tersebut sesuai dengan yang kita inginkan kemudian pilih Select Activity (Cleansing)

Gambar 8. Create Data Quality Project

3. Pilih database dan table/view data kita kemudian isi Source Column dan Domain sesuai dengan isi table pada database kita

Gambar 9. Pilih Database, Isi Source Column dan Domain

4. Jika sudah klik next kemudian tekan start maka akan muncul tampilan seperti dibawah ini

Gambar 10. Hasil Cleansing

5. Jika ditekan next lagi akan muncul tampilan seperti dibawah ini berisi data yang tidak valid atau tidak sesuai dengan rule yang telah ditentukan

Gambar 11. Data Problem

6. Kemudian Export data sesuai dengan keinginan kita, didalam Data Quality Service (DQS) menyediakan file dalam bentuk Excel, CSV dan SQL Server

Gambar 12. Export File

Langkah Melakukan Matching Data

1. Masuk pada DQS, setelah masuk cari file yang akan kita Matching lalu klik pada file tersebut, setelah itu klik Matching jika sudah akan muncul tampilan seperti dibawah ini. Isi Nama yang sesuai dengan apa yang kalian inginkan, lalu isi description jika memang dibutuhkan dan isi Use Knowledge Base sesuai dengan Nama file anda.

Gambar 13. Tampilan Awal Matching Data

2. Jika tahap pertama sudah kita masuk tahap kedua yaitu Matching Policy, akan muncul tampilan seperti dibawah ini, jika mungkin tidak muncul silahkan klik tanda + atau create a matching rule . jika sudah lalu beri nama pada Rule name dan Description, beri juga minimal Matching Score disini saya beri 50% atau beri sesuka kalian asalkan dibawah 100 %. URule editor terdapat exact dan similar, exact adalah data yang tidak boleh sama atau terdapat kesamaan, sementara similar adalah data yang dipebolehkan sama atau hampir sama. 

Untuk weight jumlah semuanya harus 100% jika sudah klik start 

Gambar 14. Start Matching

Jika Sudah maka tampilan akan berubah seperti dibawah ini disitu akan terlihat record data yang duplicate . Jika sudah lalu klik next

Gambar 15. Matching Rule

3. Lalu akan tampil seperti pada gambar dibawah ini yaitu record yang sudah di Matching jika sudah klik finish.

Gambar 16. Matching Result

Sekian tutorial dari saya, semoga apa yang saya bagikan atau sampaikan  dapat bermanfaat bagi kita semua. Mohon maaf jika terdapat kesalahan kata atau dalam penyampaian dan terima kasih.


Wassalamuallaikum