First time seriusin PySpark | Spark

-

Intermezzo, gw dah bikin habit tracker (anjas ngeri bat), beberapa diantaranya intinya buat bikin gw termotivasi kek perbanyak literasi, hands-on, belajar hal baru dan lainnya. Maka dari itu, hari ini gw dah berhasil mempelajari hal baru yang sebenarnya gak hal baru (pernah gw lakukan di jaman kuliah). Gw belajar Spark, gak cuma belajar, tapi langsung hands-on wkwkwkkw.

Jadi sebenarnya cukup iseng aja memang mau belajar Spark, ntah nyoba bikin ETL pipeline kecil-kecilan, kali ini sih sekedar masukin data dari CSV ke database doang. Gw juga masih belum mendalami syntax nya, kek nya bagusnya gw buat poin-poin aja di bawah nanti buat pertanyaan atau yang masih perlu gw cari tau wkwkwk.

 



Sebenarnya ini hasil gw diskusi dengan ChatGPT juga, gw ceritain kronologi use case yang mau gw buat, gw ambil dataset orang (belum mendalami bentukan nya juga). Trus dari sore kira-kira jam 4an gw ngetik ini juga mau ngeprint variabel df nya biar ngeliat apakah berhasil masuk ke variabel? Gw ketik tuh tadi print(df) awkawkakw dikira Pandas kali. Pas gw tanyain ke ChatGPT rupanya pake .show() wkwkwkkw gokil.

Trus sebelum pulang juga gw menyadari itu ada urusan mysql properties, yang perlu kita define Driver nya. Gw kepikiran, di mana Spark ini ngenalin konektor MySQL? Apakah udah include? Kecarian lah kan, sampai yg lain pulang gw juga ikut pulang wkwkkw, di bis sambilan gw cari selama perjalanan, trus notice bahwa kita bisa mendefinisikan file Jar pas config SparkSession nya. Gas eksekusi cari jar nya, cukup lama, belum lagi berurusan dengan driver ini, sedari tadi tuh error trus pas gw run, tapi ini habis gw shutdown sih tiba-tiba dah aman. Kocak emang gak tau kenapa, tapi perlu gw pelajari emang ini SparkSession mungkin aja kek konsep flush, jadi ada perubahan sebelumnya mungkin dari appName nya ngenalin klo sebelumnya error tapi terus-terusan gw run padahal skrip spark.stop() nya gak pernah ke eksekusi jadi gak ke close sehingga ada bikin faktor error.

Berikut adalah setelah data berhasil masuk ke database wkwkwkkw



Pertanyaan/improvement:

  • Dari mana kita dapat mengetahui nama driver?
  • Apakah Jar di PySpark dan Spark saling terkoneksi?
  • Perlu pelajari apa itu spark-submit
  • Pelajari cara kerja SparkSession
  • Dokumentasi script, perbaharui koneksi menggunakan sqlalchemy
  • Pelajari juga comparison syntax Pandas dan Spark, serta konsep umum kayak RDD, parallelize, dll.
Kek nya itu dulu aja sih postingan kali ini, rencananya besok mau coba mendalami kode, improve pakai sqlalchemy (karena banyak referensi pakai ini, mungkin biar gak ribet ngatur driver), kemudian pelajari SparkSession biar next time gak pusing start stop. Gas mau lanjut yg lain dulu.

Komentar

Posting Komentar

Postingan populer dari blog ini

What have i learn in almost 3 weeks?

-
 Gw liat terakhir gw ngetik itu di tanggal 11 Mei, dan sebenarnya gw udah agak lupa apa aja yang udah gw pelajari, tapi gw rasa gw belajar banyak hal, banyak banget (menurut gw) wkwkwkwk. Docker Gw belajar Docker brok, sejauh ini gw udah cukup paham beberapa command dasar kayak docker run, docker start, docker images, rm, rmi, exec (cukup jarang sih gw pakai ini), dan lainnya kayak parameter run container untuk volume (lebih ke bind volume), port, dan juga network. Tapi ada beberapa yang gw lupain, kalau gw merasa container yang gw buat itu ada kekurangan, gw stop container nya, trus gw jalanin perintah docker run. Gw lupa untuk menghapus container yang salah tadi, efek nya ya mungkin resource gw lebih banyak terbuang, sehingga banyak container yang gw buat hasil dari trial and error gw wkwkwk. Apache Airflow Gw berhasil membuat sebuah use case menggunakan Airflow (build on Docker), sederhana aja sih, memindahkan data dari Google Cloud Storage ke BigQuery. Asli ini susahnya bukan c...
Baca selengkapnya

Bikin ETL Sederhana Menggunakan Python dan PostgreSQL

-
Gambar
Cerita nya lagi gabut dan bikin thumbnail wkwkwk BJIR GG COK awkkawkakw Lanjut ah, jadi hari ini gw cuman belajar singkat buat masukin data berformat csv ke database PostgreSQL pakai Pandas sebagai ETL tools nya. Gw keinget dulu tuh pas pernah interview sebagai data engineer magang, ditanya pernah bikin ETL scripting gak? Pernah lah gw bilang, sampai tools nya gw sebut pakai Airflow, bikin DAG scheduler segala macam, pindahin ke data lake di HDFS yang gw setup sendiri. Tapi rupanya pertanyaan dia gak sampai situ, sekedar konek ke database doang. Di saat itu gw emang sama sekali gak pernah hands-on, cuma sekedar tau konsep, cara kerja, atau library yg dipakai doang, jadi jujurlah kan, gw rasa karena core nya memang di situ keperluannya dan gw juga kurang di situ jadi gak terpilih anjas wkwkwk. Opening macam apa itu. Yak mungkin itu cuma intermezzo doang buat nginget bahwa gw pernah kepikiran buat ngerjain ni proyek kecil-kecilan, harusnya sih kecil ya, karena emang cuman pindahin data k...
Baca selengkapnya

Intensity atau Consistency?

-
 Kacau banget, masa gw ngetik di Blog ini cuma pas lagi libur lebaran doang wkwkwk, gw inget banget kemarin tuh lagi libur lebaran gw beneran memakai waktu 2 harian penuh gw untuk eksplor dan terbit beberapa post dalam 1 hari. Sampai pada akhirnya juga ada 1 post terkait Fabric Analytic itu ketunda, dan juga machine learning yang gw post sebelum post ini wkwkwkkw. Jadi tuh sekarang gw lagi dilema, gw mau fokusin ke mana cukup bingung banget, ngeliat beberapa loker yang spesifik nyantumin nama tools untuk dipakai dan dipelajari kek nya jadi lebih terarah gw rasa dari pada megang tools berdasarkan use case. Jadi kek bingung apa yang mau di mastery gitu lho. Gw tetap akan stick to the plan dengan segenap rencana gw yang ingin bekerja sebagai Data Engineer, gw mau belajar tiap hari terkait data engineering things, ntah mulai dari mana karena gak ada peer atau yang satu interest buat eksplor bareng-bareng. Karena emang beberapa kali gw coba pelajari database, tiba-tiba ke data warehouse...
Baca selengkapnya