Xedo's Blog

 Gw liat terakhir gw ngetik itu di tanggal 11 Mei, dan sebenarnya gw udah agak lupa apa aja yang udah gw pelajari, tapi gw rasa gw belajar banyak hal, banyak banget (menurut gw) wkwkwkwk. Docker Gw belajar Docker brok, sejauh ini gw udah cukup paham beberapa command dasar kayak docker run, docker start, docker images, rm, rmi, exec (cukup jarang sih gw pakai ini), dan lainnya kayak parameter run container untuk volume (lebih ke bind volume), port, dan juga network. Tapi ada beberapa yang gw lupain, kalau gw merasa container yang gw buat itu ada kekurangan, gw stop container nya, trus gw jalanin perintah docker run. Gw lupa untuk menghapus container yang salah tadi, efek nya ya mungkin resource gw lebih banyak terbuang, sehingga banyak container yang gw buat hasil dari trial and error gw wkwkwk. Apache Airflow Gw berhasil membuat sebuah use case menggunakan Airflow (build on Docker), sederhana aja sih, memindahkan data dari Google Cloud Storage ke BigQuery. Asli ini susahnya bukan c...

Jadi dulu tuh gw pas di kampus gw pernah ngulik Docker, asli gw gak ada pengalaman khusus untuk ini, modal nekat aja pake Docker karena emang kepepet mau install Apache kafka, Hadoop, Airflow dan lainnya tanpa ribet, tapi pas gw tonton video YouTube Programmer Zaman Now asli gak ada yg masuk wkwkwkw kacau. Kek buang waktu gw nonton itu, tapi itu karena gw emang gak bisa nangkep sama sekali, alhasil ya modal pahamin aja tutorial nya, jalanin ini jalanin itu, gak gw dalemin banget itu perintah-perintah nya. Sekarang dah lulus kuliah, kek emang penting aja sih skill Docker ini, jadi gw berupaya untuk recall lagi pengalaman gw belajar Docker ini, biar istilahnya gw gak perlu repot pusing install Airflow, susah banget kan tuh, konfig java sana sini ntah apa. Jadi di sini gw mau rekap sedikit aja apa yang udah gw pelajari 2 hari ini. Di sini gw gak jelasin Docker itu apaan, konsep dan sebagainya, tapi langsung masuk aja ke pembahasan image dan container wkwkwk. Gw baru kepikiran analogi pali...

Cerita nya lagi gabut dan bikin thumbnail wkwkwk BJIR GG COK awkkawkakw Lanjut ah, jadi hari ini gw cuman belajar singkat buat masukin data berformat csv ke database PostgreSQL pakai Pandas sebagai ETL tools nya. Gw keinget dulu tuh pas pernah interview sebagai data engineer magang, ditanya pernah bikin ETL scripting gak? Pernah lah gw bilang, sampai tools nya gw sebut pakai Airflow, bikin DAG scheduler segala macam, pindahin ke data lake di HDFS yang gw setup sendiri. Tapi rupanya pertanyaan dia gak sampai situ, sekedar konek ke database doang. Di saat itu gw emang sama sekali gak pernah hands-on, cuma sekedar tau konsep, cara kerja, atau library yg dipakai doang, jadi jujurlah kan, gw rasa karena core nya memang di situ keperluannya dan gw juga kurang di situ jadi gak terpilih anjas wkwkwk. Opening macam apa itu. Yak mungkin itu cuma intermezzo doang buat nginget bahwa gw pernah kepikiran buat ngerjain ni proyek kecil-kecilan, harusnya sih kecil ya, karena emang cuman pindahin data k...

Intermezzo, gw dah bikin habit tracker (anjas ngeri bat), beberapa diantaranya intinya buat bikin gw termotivasi kek perbanyak literasi, hands-on, belajar hal baru dan lainnya. Maka dari itu, hari ini gw dah berhasil mempelajari hal baru yang sebenarnya gak hal baru (pernah gw lakukan di jaman kuliah). Gw belajar Spark, gak cuma belajar, tapi langsung hands-on wkwkwkkw. Jadi sebenarnya cukup iseng aja memang mau belajar Spark, ntah nyoba bikin ETL pipeline kecil-kecilan, kali ini sih sekedar masukin data dari CSV ke database doang. Gw juga masih belum mendalami syntax nya, kek nya bagusnya gw buat poin-poin aja di bawah nanti buat pertanyaan atau yang masih perlu gw cari tau wkwkwk.   Sebenarnya ini hasil gw diskusi dengan ChatGPT juga, gw ceritain kronologi use case yang mau gw buat, gw ambil dataset orang (belum mendalami bentukan nya juga). Trus dari sore kira-kira jam 4an gw ngetik ini juga mau ngeprint variabel df nya biar ngeliat apakah berhasil masuk ke variabel? Gw ketik tu...

 Kacau banget, masa gw ngetik di Blog ini cuma pas lagi libur lebaran doang wkwkwk, gw inget banget kemarin tuh lagi libur lebaran gw beneran memakai waktu 2 harian penuh gw untuk eksplor dan terbit beberapa post dalam 1 hari. Sampai pada akhirnya juga ada 1 post terkait Fabric Analytic itu ketunda, dan juga machine learning yang gw post sebelum post ini wkwkwkkw. Jadi tuh sekarang gw lagi dilema, gw mau fokusin ke mana cukup bingung banget, ngeliat beberapa loker yang spesifik nyantumin nama tools untuk dipakai dan dipelajari kek nya jadi lebih terarah gw rasa dari pada megang tools berdasarkan use case. Jadi kek bingung apa yang mau di mastery gitu lho. Gw tetap akan stick to the plan dengan segenap rencana gw yang ingin bekerja sebagai Data Engineer, gw mau belajar tiap hari terkait data engineering things, ntah mulai dari mana karena gak ada peer atau yang satu interest buat eksplor bareng-bareng. Karena emang beberapa kali gw coba pelajari database, tiba-tiba ke data warehouse...

Sebelum lanjutin, gw mau sedikit cerita aja karena gw udah hampir 2 minggu gak ngejurnal di blog ini wkwkkwk, terakhir gw inget itu pas lagi lebaran, gw ada waktu luang buat belajar jadi gw lanjut belajar dan full dokumentasiin apa yang gw lakuin dan pelajarin. Jadi karena di sini gw punya waktu luang, gw mau menyempatkan untuk belajar machine learning, gak langsung advanced kayak ARIMA dan kawan-kawannya, ngikutin path dari si Dicoding aja. Menurut gw yang awam ini bakalan seru sih ya, gak tau kejauhan atau nggak walau bawa embel-embel "untuk Pemula", soalnya di sini gak sekedar belajar supervised dan unsupervised learning kayak regression dan clustering, tapi ada support vector machine (SVM), Neural Network, sampai TensorFlow. Jujur gw gak tau itu semua apaan, gw cuma tau sekedar namanya doang tapi gak artinya, jadi gw berkomitmen akan menyelesaikan course ini (gak tau semuanya akan gw dokumentasiin di blog lewat jurnal kek gini atau nggak), intinya gw mau seriusin course D...