Detail Utama

Tipe Waktu: Penuh waktu

Tipe Pekerja: Karyawan

Tanggung Jawab Utama:

• Merancang, mengembangkan, dan mengoptimalkan saluran data dan alur kerja dalam Azure Databricks menggunakan Python untuk pemrosesan dan otomatisasi data.
• Berkerjasama dengan tim platform untuk memastikan bahwa infrastruktur yang mendasari mendukung skalabilitas, kinerja, dan persyaratan keamanan dari beban kerja Databricks.
• Memperbaiki dan meningkatkan saluran ETL, memastikan bahwa saluran tersebut efisien, andal, dan memenuhi persyaratan bisnis.
• Memecahkan masalah dan menyelesaikan isu terkait pemrosesan data, kegagalan saluran, dan penyumbatan kinerja dalam Databricks.
• Mengembangkan dan mengimplementasikan strategi untuk mengoptimalkan saluran data untuk kecepatan, efisiensi biaya, dan kinerja, memastikan keselarasan dengan tujuan bisnis.
• Berpartisipasi dalam perbaikan arsitektur data, model data, dan infrastruktur keseluruhan dalam ekosistem Azure.
• Memimpin upaya untuk memantau, memelihara, dan menskalakan alur kerja data dan solusi penyimpanan data dalam Azure Databricks.
• Berkerjasama dengan rekayasa data lainnya, ilmuwan data, dan analis untuk memastikan integritas data dan arus yang lancar di seluruh sistem.
• Tetap mengikuti tren industri terbaru, alat, dan praktik terbaik dalam rekayasa data dan teknologi awan.

Persyaratan:

• Pengalaman 3+ tahun sebagai rekayasa data dengan keahlian dalam membangun dan mengoptimalkan saluran data dalam lingkungan berbasis awan, khususnya Azure.
• Kepiawaian dalam Azure Databricks dan Python untuk mengembangkan skrip pemrosesan data dan mengoptimalkan alur kerja.
• Pengalaman dengan proses ETL, desain saluran data, otomatisasi, dan pemecahan masalah.
• Pengalaman langsung dengan Apache Spark dalam Databricks, termasuk penyetelan dan optimisasi kinerja.
• Pengetahuan tentang Azure Data Lake, Azure SQL, dan layanan penyimpanan serta pemrosesan data berbasis Azure lainnya.
• Pemahaman yang kuat tentang platform data awan, termasuk jaringan, penyimpanan, keamanan, dan pertimbangan kinerja dalam Azure.
• Kemampuan untuk bekerja secara efektif dalam tim lintas fungsi untuk mengkoordinasikan dan memberikan solusi data berkualitas tinggi.
• Keterampilan pemecahan masalah dan analitis yang sangat baik, dengan kemampuan untuk mengidentifikasi dan menyelesaikan masalah terkait alur kerja data.
• Keterampilan komunikasi yang kuat, baik teknis maupun non-teknis, dengan kemampuan untuk berkolaborasi secara efektif dengan berbagai tim.

Kualifikasi yang Diutamakan:

• Pengalaman dengan Azure Synapse Analytics, Azure Data Factory, atau alat integrasi data serupa.
• Kepercayaan dengan praktik CI/CD dan sistem kontrol versi seperti Git.
• Pengalaman dalam metodologi Agile dan alat manajemen proyek (misalnya, Jira, Trello).
• Keakraban dengan prinsip tata kelola data dan praktik terbaik dalam memastikan kualitas dan keamanan data.

Keahlian:

Kemampuan beradaptasi,Pengembangan Aplikasi Agile,Komunikasi,Pemikiran Kritis,Layanan Pelanggan,GitLab CI/CD,Kolaborasi yang disengaja,Mengelola kinerja,Peningkatan Proses,Manajemen Risiko,Uji Skalabilitas,Pengembangan Perangkat Lunak,Metodologi Siklus Hidup Pengembangan Perangkat Lunak (SDLC),Manajemen Pemangku Kepentingan,Manajemen Tim

Cara Mendaftar:

Untuk mengajukan aplikasi Anda, klik "Daftar" dan ikuti proses langkah demi langkah.

Kesempatan Kerja yang Setara:

QBE adalah majikan yang memberikan kesempatan yang sama dan diwajibkan untuk mematuhi undang-undang kesempatan kerja yang sama di setiap yurisdiksi tempat mereka beroperasi.

Silakan merujuk ke deskripsi pekerjaan.