Senin, 12 Juli 2010

Cloning Row di Kettle Data Integration

Walaupun jarang sifatnya, tetapi kadang diperlukan cloning/mengcopy row. Sehingga bisa digunakan bercabang ataupun menjadi output yang lain. Objek yang digunakan adalah clone row yang terdapat di folder Utility->Clone Row.

Kalkulasi di Kettle Data Integration

Di Data integration ini terdapat objek untuk perhitungan data dari beberapa source sebelumnya, yakni calculator dengan maskimum 3 value jika melihat property dari objek tersebut yakni calculator, dimana objek ini berada di folder Tranform->Calculator.

Union di Kettle Data Integration

Proses ETL kadang diperlukan proses penggabungan dari proses-proses sebelumnya, sebagaimana ETL juga sebagai penggambaran query ataupun proses. Sebagai contoh kita gunakan contoh sebelumnya dengan penambahan objek "append stream" di folder flow->Append Stream.

Jumat, 09 Juli 2010

Aggregate di Kettle Data Integration

Dalam pengolahan data ke Datamart ataupun source olap digunakan data dalam bentuk aggregate (measure) seperti sum, avg, count, dan lain-lain. Nah ETL disini sebagai OLTP dimana data didapatkan tentunya harus meng-aggregate source data tersebut sebelum di-store ke Datamart/Olap Source. Disini coba dibahas bagaimana menggunakan aggregate di Kettle Data Integration. Nah objek yang digunakan disini adalah Group By yang terdapat di folder Statistics-Group By, bukan lagi menggunakan objek "Aggregate Rows" yang ada di folder Deprecated->Aggregate Row, karena beritanya objek ini akan dihilangkan di versi-versi mendatang. :)

Kamis, 08 Juli 2010

Sequence dan loop di Kettle Data Integration

Belajar dari kasus yang ada ditambah melihat contoh software bawaan Data Integration, kadang proses simultan diperlukan proses sequential ataupun looping (perulangan) dengan kondisi tertentu. Ternyata objek yang digunakan adalah objek input->Generate row.
Double click pada objek generate row, limit menunjukkan batasan maksimum generate, kemudian tambahkan objeck "add sequence" untuk mendapatkan nilai integer dari sequential generate row sebanyak limit. Output bisa ke log, table ataupun tabel database. Run kemudian bisa dilihat hasilnya.Mari kita coba dulu