Nyoba Ngelab Migrasi MySQL ke Cloud SQL Menggunakan Database Migration Service

-

 Jadi kan kemarin gw udah nonton video hands-on nya di YouTube, nah niatannya hari ini gw mau nyoba hands-on sendiri, kebetulan ada lab nya di Skill Boost. Jadi langsung saja tanpa basa-basi kita praktikan ilmu yang sudah dipelajari kemarin.

Berikut adalah skenario dari Qwiklabs nya

Jadi kita udah punya MySQL on premise yang di install di VM (Compute Engine), dan mau kita pindahin ke MySQL on Cloud SQL menggunakan 2 metode yang berbeda, kayak kemarin gw bilang jadi 2 use case, ada yang one time migrate (kek untuk initial), atau continous untuk CDC.

Untuk yang one-time migration perlu pakai external IP nya si source database, sedangkan yang continous kita disuruh pakai VPC Peering (jujur gw belum tau ini, nanti gw diskusi juga sama ChatGPT), jadi pakai VPC itu biar kita bisa mengakses source database tadi buat menghilangkan dependency ip address external nya(?).

Gw ada ngeliat sekilas di proyek Qwiklabs nya itu udah punya VM Instance, gw rasa ini asumsi untuk MySQL on premise nya.


Yak, bener aja, sesuai dengan informasi Qwiklabs nya

Jadi sekarang kita perlu membuat Connetion Profile buat MySQL on premise nya. Gw dah nyalain API Database Migration Service nya, sekarang waktunya kita definisikan si profile on premise dengan memasukan akses dan kredensial nya.

Klik Create Profile


Database engine ini kek nya emang ngenalin dah, tadi gw ngisi Cloud SQL for MySQL langsung dicek, gak ada tuh instance Cloud SQL yang berjalan, makanya gw switch ke MySQL buat define source nya emang (on premise) MySQL.



Sisanya tinggal kita sesuain, nama profile koneksi nya apa, hostname atau IP nya berapa, dan kredensial username serta password nya. Karena gw juga jadi tau kredensial nya, ini screenshot dari SSH MySQL on premise nya, udah ada 2 database tambahan.


 Ada database untuk customer dan juga sales, okeh mari kita lanjut migrasi nya. klik Create Migration Job.


Kita isi semua value yang diminta untuk di setiap tahap, sekarang gw lagi ngisi untuk tahapan get started nya.


Trus gw pililh source nya itu sesuai dengan profil koneksi yang udah gw buat tadi.


Tahapan selanjutnya itu kita menentukan destinasi nya, dari video yang gw tonton kemarin, dia bilang untuk tahapan ini efeknya kita bakalan membuat instance Cloud SQL baru, sedangkan di sini gw nemu opsi mau bikin baru atau pakai existing. Update (?) wow.

Karena gw cek saat ini gak ada instance apapun di Cloud SQL, jadi gw pilih tipe destinasi nya New instance. 

Lanjutannya kita akan konfig konektivitas nya mau pakai apa, ada IP allowlist, Reverse-SSH tunnel via cloud-hosted VM, ada juga VPC peering. Ini kek di video kemarin, tapi karena requirement nya minta pakai external ip address yauda kita pilih IP allowlist aja. Ni udah gw pilih tapi belum langsung keluar, karena nunggu IP nya di generate setelah instance Cloud SQL nya udah dibuat.


Done, akan ada 2 IP address yang ditampilkan, sesuai dengan IP address Cloud SQL instnace yang baru saja selesai dibuat.

Tiba tiba gw cek lab gw waktu nya dah berhenti, trus gw mulai lagi ada warning wkwkkwkwk. Gw yakin karena ngerjain yang define new instance tadi, mesin nya gak tau mau dibuat begimana.


Karena gw dah agak buntu, mau lanjutin takut error jadi gw lanjut nanti aja dah pake billing sendiri. Sekarang mau mandi lanjut gereja, see ya~



















a

Komentar

Posting Komentar

Postingan populer dari blog ini

What have i learn in almost 3 weeks?

-
 Gw liat terakhir gw ngetik itu di tanggal 11 Mei, dan sebenarnya gw udah agak lupa apa aja yang udah gw pelajari, tapi gw rasa gw belajar banyak hal, banyak banget (menurut gw) wkwkwkwk. Docker Gw belajar Docker brok, sejauh ini gw udah cukup paham beberapa command dasar kayak docker run, docker start, docker images, rm, rmi, exec (cukup jarang sih gw pakai ini), dan lainnya kayak parameter run container untuk volume (lebih ke bind volume), port, dan juga network. Tapi ada beberapa yang gw lupain, kalau gw merasa container yang gw buat itu ada kekurangan, gw stop container nya, trus gw jalanin perintah docker run. Gw lupa untuk menghapus container yang salah tadi, efek nya ya mungkin resource gw lebih banyak terbuang, sehingga banyak container yang gw buat hasil dari trial and error gw wkwkwk. Apache Airflow Gw berhasil membuat sebuah use case menggunakan Airflow (build on Docker), sederhana aja sih, memindahkan data dari Google Cloud Storage ke BigQuery. Asli ini susahnya bukan c...
Baca selengkapnya

Bikin ETL Sederhana Menggunakan Python dan PostgreSQL

-
Gambar
Cerita nya lagi gabut dan bikin thumbnail wkwkwk BJIR GG COK awkkawkakw Lanjut ah, jadi hari ini gw cuman belajar singkat buat masukin data berformat csv ke database PostgreSQL pakai Pandas sebagai ETL tools nya. Gw keinget dulu tuh pas pernah interview sebagai data engineer magang, ditanya pernah bikin ETL scripting gak? Pernah lah gw bilang, sampai tools nya gw sebut pakai Airflow, bikin DAG scheduler segala macam, pindahin ke data lake di HDFS yang gw setup sendiri. Tapi rupanya pertanyaan dia gak sampai situ, sekedar konek ke database doang. Di saat itu gw emang sama sekali gak pernah hands-on, cuma sekedar tau konsep, cara kerja, atau library yg dipakai doang, jadi jujurlah kan, gw rasa karena core nya memang di situ keperluannya dan gw juga kurang di situ jadi gak terpilih anjas wkwkwk. Opening macam apa itu. Yak mungkin itu cuma intermezzo doang buat nginget bahwa gw pernah kepikiran buat ngerjain ni proyek kecil-kecilan, harusnya sih kecil ya, karena emang cuman pindahin data k...
Baca selengkapnya

Intensity atau Consistency?

-
 Kacau banget, masa gw ngetik di Blog ini cuma pas lagi libur lebaran doang wkwkwk, gw inget banget kemarin tuh lagi libur lebaran gw beneran memakai waktu 2 harian penuh gw untuk eksplor dan terbit beberapa post dalam 1 hari. Sampai pada akhirnya juga ada 1 post terkait Fabric Analytic itu ketunda, dan juga machine learning yang gw post sebelum post ini wkwkwkkw. Jadi tuh sekarang gw lagi dilema, gw mau fokusin ke mana cukup bingung banget, ngeliat beberapa loker yang spesifik nyantumin nama tools untuk dipakai dan dipelajari kek nya jadi lebih terarah gw rasa dari pada megang tools berdasarkan use case. Jadi kek bingung apa yang mau di mastery gitu lho. Gw tetap akan stick to the plan dengan segenap rencana gw yang ingin bekerja sebagai Data Engineer, gw mau belajar tiap hari terkait data engineering things, ntah mulai dari mana karena gak ada peer atau yang satu interest buat eksplor bareng-bareng. Karena emang beberapa kali gw coba pelajari database, tiba-tiba ke data warehouse...
Baca selengkapnya