Nyoba Ngelab Dataflow (Python)

-
Sejujurnya dulu gw udah pernah ambil ni lab, tapi asli gw bingung banget sama cara kerja Dataflow (based on Apache Beam) ini. Ntah apa lah itu pTransform, DoFn, ya gitu dah. Walau pake Python, tapi lebih ribet dari Apache Airflow, apa lagi yg bahasa Java buset dah.

Yak tanpa basa-basi kebanyakan ngeluh, akan gw start sekarang.



Gw lupa perihal ini, seingat gw Google nya pernah bilang klo kita nyalain Dataflow API, maka akan otomatis ada service account nya.

Berikutnya kita disuruh bikin bucket di cloud storage dengan nama qwiklabs-gcp-01-4031708193b5-bucket.

Gw gak terlalu ngerti ini konsep nya begimana tiba-tiba dia nyuruh kita install python v3.9 dan pip sama dataflow SDK, bukan karena install itu, tapi kita nginstall nya di Docker

docker run -it -e DEVSHELL_PROJECT_ID=$DEVSHELL_PROJECT_ID python:3.9 /bin/bash

Apa ini jadinya ngejalanin di GKE? Trus kita disuruh install pip dan jalanin program map reduce.

python -m apache_beam.examples.wordcount --output OUTPUT_FILE

Bagian yang paling seru nih, kita akan menjalankan program wordcount pakai template dataflow, jadi kita gak perlu ngoding, tapi gw pengen ngulik kodingannya juga. Sebelum itu kita perlu define variabel cloud storage bucket tadi

BUCKET=gs://<bucket name provided earlier> 

Trus kita jalanin juga di console nya kek gini

python -m apache_beam.examples.wordcount --project $DEVSHELL_PROJECT_ID \

  --runner DataflowRunner \

  --staging_location $BUCKET/staging \

  --temp_location $BUCKET/temp \

  --output $BUCKET/results/output \

  --region us-east4

Kalo lu liat kan itu ada ngasih tau beberapa folder yang terpakai, yaitu staging_location, temp_location, dan output. 


Gak keliatan jir di mana kodingannya

 Intinya gw masih bingung cara kerja Dataflow ini, kek aneh aja gitu kan tiba-tiba pake Docker, tiba-tiba jalanin MapReduce dan Word Count, masih gak menjawab yang gw bingungin sebelumnya la kayak apa itu pTransform, dan kawan-kawannya wkwkw.

Komentar

Posting Komentar

Postingan populer dari blog ini

What have i learn in almost 3 weeks?

-
 Gw liat terakhir gw ngetik itu di tanggal 11 Mei, dan sebenarnya gw udah agak lupa apa aja yang udah gw pelajari, tapi gw rasa gw belajar banyak hal, banyak banget (menurut gw) wkwkwkwk. Docker Gw belajar Docker brok, sejauh ini gw udah cukup paham beberapa command dasar kayak docker run, docker start, docker images, rm, rmi, exec (cukup jarang sih gw pakai ini), dan lainnya kayak parameter run container untuk volume (lebih ke bind volume), port, dan juga network. Tapi ada beberapa yang gw lupain, kalau gw merasa container yang gw buat itu ada kekurangan, gw stop container nya, trus gw jalanin perintah docker run. Gw lupa untuk menghapus container yang salah tadi, efek nya ya mungkin resource gw lebih banyak terbuang, sehingga banyak container yang gw buat hasil dari trial and error gw wkwkwk. Apache Airflow Gw berhasil membuat sebuah use case menggunakan Airflow (build on Docker), sederhana aja sih, memindahkan data dari Google Cloud Storage ke BigQuery. Asli ini susahnya bukan c...
Baca selengkapnya

Bikin ETL Sederhana Menggunakan Python dan PostgreSQL

-
Gambar
Cerita nya lagi gabut dan bikin thumbnail wkwkwk BJIR GG COK awkkawkakw Lanjut ah, jadi hari ini gw cuman belajar singkat buat masukin data berformat csv ke database PostgreSQL pakai Pandas sebagai ETL tools nya. Gw keinget dulu tuh pas pernah interview sebagai data engineer magang, ditanya pernah bikin ETL scripting gak? Pernah lah gw bilang, sampai tools nya gw sebut pakai Airflow, bikin DAG scheduler segala macam, pindahin ke data lake di HDFS yang gw setup sendiri. Tapi rupanya pertanyaan dia gak sampai situ, sekedar konek ke database doang. Di saat itu gw emang sama sekali gak pernah hands-on, cuma sekedar tau konsep, cara kerja, atau library yg dipakai doang, jadi jujurlah kan, gw rasa karena core nya memang di situ keperluannya dan gw juga kurang di situ jadi gak terpilih anjas wkwkwk. Opening macam apa itu. Yak mungkin itu cuma intermezzo doang buat nginget bahwa gw pernah kepikiran buat ngerjain ni proyek kecil-kecilan, harusnya sih kecil ya, karena emang cuman pindahin data k...
Baca selengkapnya

Intensity atau Consistency?

-
 Kacau banget, masa gw ngetik di Blog ini cuma pas lagi libur lebaran doang wkwkwk, gw inget banget kemarin tuh lagi libur lebaran gw beneran memakai waktu 2 harian penuh gw untuk eksplor dan terbit beberapa post dalam 1 hari. Sampai pada akhirnya juga ada 1 post terkait Fabric Analytic itu ketunda, dan juga machine learning yang gw post sebelum post ini wkwkwkkw. Jadi tuh sekarang gw lagi dilema, gw mau fokusin ke mana cukup bingung banget, ngeliat beberapa loker yang spesifik nyantumin nama tools untuk dipakai dan dipelajari kek nya jadi lebih terarah gw rasa dari pada megang tools berdasarkan use case. Jadi kek bingung apa yang mau di mastery gitu lho. Gw tetap akan stick to the plan dengan segenap rencana gw yang ingin bekerja sebagai Data Engineer, gw mau belajar tiap hari terkait data engineering things, ntah mulai dari mana karena gak ada peer atau yang satu interest buat eksplor bareng-bareng. Karena emang beberapa kali gw coba pelajari database, tiba-tiba ke data warehouse...
Baca selengkapnya