Pentaho - Screen Scraping "Daftar Kabupaten/Kota" Halaman Wikipedia

Video ini menggambarkan solusi dari thread pertanyaan "Mendapatkan Data Kota dan Provinsi" di User Group Pentaho Indonesia.

Berikut adalah gambaran solusinya :
- Baca halaman http://id.wikipedia.org/wiki/Daftar_kabupaten_dan_kota_Indonesia (Text file input)
- Cari dan deteksi pola source dari halaman tersebut untuk Propinsi, Kabupaten/Kota dan Pusat Pemerintahan. Masing2 untuk tiap fase dan pisahkan dengan capture field group (Regex Evaluation)
- Lakukan deteksi level break dari tiap row untuk masing2 group di atas (Modified Java Script Value)
- Pisahkan stream untuk tiap fase grouping dan lakukan lookup untuk menggabungkan kembali (Filter rows dan Stream Lookup)
- Untuk source lain yang tidak perlu kita filter out (Filter Rows)
- Lakukan step lainnya sesuai logika masing2. Untuk script saya, saya menggunakan Denormalization
- Selesai

Category:

Science & Technology

Tags:

• pentaho
• kettle
• phi-integration
• screen scraping
• wikipedia