Snowflake Platform nya Microsoft - Fabric Analytics Engineer

-

 Maret awal gw pernah menghadiri event Snowflake, sebelumnya gw sama sekali gak pernah ngulik ataupun cari tau tentang Snowflake, jadi ya sekedar pernah denger doang namanya tapi gak tau itu tools/software atau apa dan buat apa. Pas gw ikutin tuh event, Snowflake itu kayak platform yang membantu kita ngurusin data, mau nyimpen, ngolah, bahkan sampai untuk kebutuhan AI/ML, ya intinya end-to-end, dari awal data bisa kita ambil sampai tahapan akhirnya digunakan itu layanan yang diberikan sama Snowflake. Gw asli nya kek males juga dengerin 'course', apalagi bahasa Inggris, tapi untuk yg kemarin itu gw bener-bener se-mantengin itu buat ngikutin seluruh pembahasan di event nya wkwkwk. Kek seru gitu lho klo pakai Snowflake *reflek nyari voucher certification exam nya.

Tapi untuk kali ini gw gak bahas Snowflake, sekarang gw cuma mau ngasih tau Microsoft ada platform mirip Snowflake, nama nya Microsoft Fabrics. Tapi mungkin postingan ini cuma sekedar intermezzo doang, bukan buat langsung mendalami apa itu Fabrics, apa aja solusi analitik yang ada di dalamnya, gimana cara pake nya, kenapa kita perlu pake Fabrics dan lainnya. Karena, sejujurnya gw udah hampir lupa sama Fabrics ini, padahal gw lagi ngikutin event buat akses gratis belajarnya :")



Ada sisa 2 minggu, niatnya selama lebaran ini gw mau lanjutin belajar ini, mungkin akan gw buka dari modul awal lagi dan sharing ke sini. Karena sejujurnya di event ini gw gak bisa akses lab nya karena ntah kenapa dia gak ngasih free access pake email outlook pribadi, harus perusahaan atau ntah gimana intinya gak bisa explore lebih dalam. Nah trus walau gw gak bisa coba lab, tapi gw masih bisa ngikutin secara teori, walau gak dalem banget, soalnya klo masih gak salah ingat, dari kira-kira 30 soal gw cuman salah 3 doang *anjay b aja padahal. Kaerna emang soal nya cukup general dan gak terlalu deep kek wajib istilahnya hanya ada di Fabrics doang wkwkkw.

Gw ada dapat beberapa hal yang belum pernah gw mengerti sebelumnya, but look at this, mungkin ini hal yang bener-bener baru buat gw


The Medallion Architecture, sebenarnya gw tau istilah itu di Azure ini, tapi gw malah dapat link ori nya dari Databricks, another data platform, wow bahkan baru pertama kali ngulik databricks ini sumpah, ternyata saingan dari Snowflake dan Fabrics itu sendiri wkwkwkkwkw

Jadi intinya Medallion Architecture ini adalah desain untuk media penyimpanan yang menggunakan istilah seperti medali untuk setiap layer nya, jadi misal nih untuk layer Bronze, itu data nya beneran pure asli mentah, raw tanpa transform apapun. Trus data nya di kirim ke Silver layer, naik kasta kan tuh, di situ data udah mulai di rapihin, di benerin struktur nya, format dan kualitas lain lah intinya. Setelah dari situ, data nya di kirim lagi ke Gold layer, ini data yang udah bisa disebar ke bisnis ataupun user lain untuk kebutuhan mereka gitu lah. Sebenarnya data udah bisa diakses di Silver layer, tapi klo mau yg udah mateng ya bisa langsung dari Gold aja. Trus di course Fabrics itu gw pernah baca klo Medallion Architecture ini gak sekedar 3 layer doang, bisa aja di tambah misalnya platinum untuk kebutuhan lain, mungkin data yang udah 'jadi', tinggal pake tanpa perlu pengolahan sedikitpun, mungkin untuk stakeholder yang males wkwkwkkw.

Ya kurang lebih gitu dah, akan gw bahas lagi di lain kesempatan. See ya~

Komentar

Posting Komentar

Postingan populer dari blog ini

What have i learn in almost 3 weeks?

-
 Gw liat terakhir gw ngetik itu di tanggal 11 Mei, dan sebenarnya gw udah agak lupa apa aja yang udah gw pelajari, tapi gw rasa gw belajar banyak hal, banyak banget (menurut gw) wkwkwkwk. Docker Gw belajar Docker brok, sejauh ini gw udah cukup paham beberapa command dasar kayak docker run, docker start, docker images, rm, rmi, exec (cukup jarang sih gw pakai ini), dan lainnya kayak parameter run container untuk volume (lebih ke bind volume), port, dan juga network. Tapi ada beberapa yang gw lupain, kalau gw merasa container yang gw buat itu ada kekurangan, gw stop container nya, trus gw jalanin perintah docker run. Gw lupa untuk menghapus container yang salah tadi, efek nya ya mungkin resource gw lebih banyak terbuang, sehingga banyak container yang gw buat hasil dari trial and error gw wkwkwk. Apache Airflow Gw berhasil membuat sebuah use case menggunakan Airflow (build on Docker), sederhana aja sih, memindahkan data dari Google Cloud Storage ke BigQuery. Asli ini susahnya bukan c...
Baca selengkapnya

Bikin ETL Sederhana Menggunakan Python dan PostgreSQL

-
Gambar
Cerita nya lagi gabut dan bikin thumbnail wkwkwk BJIR GG COK awkkawkakw Lanjut ah, jadi hari ini gw cuman belajar singkat buat masukin data berformat csv ke database PostgreSQL pakai Pandas sebagai ETL tools nya. Gw keinget dulu tuh pas pernah interview sebagai data engineer magang, ditanya pernah bikin ETL scripting gak? Pernah lah gw bilang, sampai tools nya gw sebut pakai Airflow, bikin DAG scheduler segala macam, pindahin ke data lake di HDFS yang gw setup sendiri. Tapi rupanya pertanyaan dia gak sampai situ, sekedar konek ke database doang. Di saat itu gw emang sama sekali gak pernah hands-on, cuma sekedar tau konsep, cara kerja, atau library yg dipakai doang, jadi jujurlah kan, gw rasa karena core nya memang di situ keperluannya dan gw juga kurang di situ jadi gak terpilih anjas wkwkwk. Opening macam apa itu. Yak mungkin itu cuma intermezzo doang buat nginget bahwa gw pernah kepikiran buat ngerjain ni proyek kecil-kecilan, harusnya sih kecil ya, karena emang cuman pindahin data k...
Baca selengkapnya

Intensity atau Consistency?

-
 Kacau banget, masa gw ngetik di Blog ini cuma pas lagi libur lebaran doang wkwkwk, gw inget banget kemarin tuh lagi libur lebaran gw beneran memakai waktu 2 harian penuh gw untuk eksplor dan terbit beberapa post dalam 1 hari. Sampai pada akhirnya juga ada 1 post terkait Fabric Analytic itu ketunda, dan juga machine learning yang gw post sebelum post ini wkwkwkkw. Jadi tuh sekarang gw lagi dilema, gw mau fokusin ke mana cukup bingung banget, ngeliat beberapa loker yang spesifik nyantumin nama tools untuk dipakai dan dipelajari kek nya jadi lebih terarah gw rasa dari pada megang tools berdasarkan use case. Jadi kek bingung apa yang mau di mastery gitu lho. Gw tetap akan stick to the plan dengan segenap rencana gw yang ingin bekerja sebagai Data Engineer, gw mau belajar tiap hari terkait data engineering things, ntah mulai dari mana karena gak ada peer atau yang satu interest buat eksplor bareng-bareng. Karena emang beberapa kali gw coba pelajari database, tiba-tiba ke data warehouse...
Baca selengkapnya