Intensity atau Consistency?

 Kacau banget, masa gw ngetik di Blog ini cuma pas lagi libur lebaran doang wkwkwk, gw inget banget kemarin tuh lagi libur lebaran gw beneran memakai waktu 2 harian penuh gw untuk eksplor dan terbit beberapa post dalam 1 hari. Sampai pada akhirnya juga ada 1 post terkait Fabric Analytic itu ketunda, dan juga machine learning yang gw post sebelum post ini wkwkwkkw.

Jadi tuh sekarang gw lagi dilema, gw mau fokusin ke mana cukup bingung banget, ngeliat beberapa loker yang spesifik nyantumin nama tools untuk dipakai dan dipelajari kek nya jadi lebih terarah gw rasa dari pada megang tools berdasarkan use case. Jadi kek bingung apa yang mau di mastery gitu lho.

Gw tetap akan stick to the plan dengan segenap rencana gw yang ingin bekerja sebagai Data Engineer, gw mau belajar tiap hari terkait data engineering things, ntah mulai dari mana karena gak ada peer atau yang satu interest buat eksplor bareng-bareng. Karena emang beberapa kali gw coba pelajari database, tiba-tiba ke data warehouse, tiba-tiba bikin pipeline, atau bahkan ntah perasaan dari mana juga gw belajar machine learning. 

Oh iya gw juga dilema banget sama Machine Learning ini, kek harus bisa kah, cukup tau, atau bahkan gak perlu. Mungkin gw udah di tahap cukup tau sih, dan gw juga denger suhu data engineer bilang machine learning tuh gak kepake. Asli, antara senang dan bingung. Mungkin tetap gw cari tau ntah untuk sekedar tau atau sekedar literasi aja yakan.

Trus gw pengen mulai ngulik lebih dalam ranah data engineer, jujur sebenarnya gw masih agak bingung sama 'data modeling', gw paham cara bikin ERD, konsep, fisik, dan kawan-kawnanya (tapi agak lupa di bagian relasi 1 to many dll wkwkwk). Trus ada juga data modeling di data warehouse, bikin star schema atau yang lainnya, itu gw gak ngerti gimana cara kerjanya sehingga katnaya skema tersebut bisa bikin storage lebih kecil, atau koreksi dah kek nya gak lebih kecil juga, yang pasti meminimalisir penggunaan join karena table udah digabung-gabungin. Gw belum tau jelas gimana cara nentuin fact table dan dimensional table. Jadi ya gitu deh, ranah terdepan awam nya aja masih belum gw kuasai. Kacau bet.

Gw belum dapat source juga mau belajar data modeling yang enak di mana, di satu sisi gw juga sambil pertebal literasi gw dengan membaca buku. Mohon maaf sampai saat ini masih bajakan :"D. Gw lagi baca buku Data Engineering with GCP bautan orang indo, trus belajar fundamental of data engineering oreilly, itu 2 belum tamat, akan gw buka dan pelajari tiap hari untuk konsisten.

Trus apa lagi ya, mungkin saat ini gw lagi ngulik database sih memang, nginstall dari awal, gw tadi kepo banget buat tau gimana caranya database mysql gw di lokal ini bisa diakses di komputer lain, asli pengen gw cari tau ni caranya, biar bisa bikin use case migrasi database ke Cloud SQL. Mana tadi gw coba lab nya error wkwkwkkw kacau gimana lanjutinnya. Jadi nanti niatannya mau bikin use case atau proyek, bisa membuat replika untuk migrasi data di mysql lokal gw, ke Cloud SQL, apa lagi keren banget ada istilah migrate one time (initial) sama continuous, kapanpun data di mysql nya bertambah, maka akan langsung di migrate juga ke Cloud SQL. Goks.

Gw udah lama pula gak megang dan belajar Airflow, pengen tau sih gimana cara nya Airflow ini berkomunikasi dengan tools GCP, gw sempet baca-baca sih ada operator spesifik ya misal mau pindahin data dar Cloud Storage ke BigQuery, ya nama operator nya kurleb kayak "gcsToBigQueryOperator" awkakwkawk gokil sampai se-spesifik itu. Gak tau dah ada apa lagi operator yang bisa terintegrasi dengan GCP environment.

Kurang lebih itu dulu dah, utama gw masih mau belajar terkait database dan datawarehouse tadi, terlebih data omdeling. Any update will be posted in this blog later. See ya~