Jumat, 09 Juli 2010

Aggregate di Kettle Data Integration

Dalam pengolahan data ke Datamart ataupun source olap digunakan data dalam bentuk aggregate (measure) seperti sum, avg, count, dan lain-lain. Nah ETL disini sebagai OLTP dimana data didapatkan tentunya harus meng-aggregate source data tersebut sebelum di-store ke Datamart/Olap Source. Disini coba dibahas bagaimana menggunakan aggregate di Kettle Data Integration. Nah objek yang digunakan disini adalah Group By yang terdapat di folder Statistics-Group By, bukan lagi menggunakan objek "Aggregate Rows" yang ada di folder Deprecated->Aggregate Row, karena beritanya objek ini akan dihilangkan di versi-versi mendatang. :)
Contoh bisa menggunakan contoh sebelumnya dimana contoh sebelumnya mengulas sequence. Disini ditambahkan objek if field value is null di folder utility untuk mengalokasikan nilai null menjadi nilai lain dalam hal ini nilai null dari generate row. Kemudian menggunakan objek group by untuk aggregate dari folder statistics. Setting di objek if value field is null dengan "replace by" dengan karakter digunakan sebagai key group by. Setting objek group by dengan penekanan pada group dan aggregate, group dengan field dari objek "if value field is null", sedangkan aggregate dari nilai "add sequence" misalkan dengan sum. Selanjutnya run, kelihatan di tabel target terdapat nilai 28 sebagai hasil penjumlahan 1-7 (asumsi limit generate rows 7).

1 komentar: