Gambaran Posisi:

Kami sedang mencari seorang insinyur pengembang big data yang memiliki keterampilan teknis yang kuat dan pengalaman praktis yang luas untuk bergabung dengan tim inti platform data kami. Anda akan terlibat secara mendalam dalam desain dan pembangunan platform data generasi berikutnya perusahaan, bertanggung jawab untuk mengatur dan mengoptimalkan arsitektur pemrosesan data yang berkinerja tinggi dan dapat diskalakan, mencakup seluruh rantai dari pengumpulan data, pembersihan, penyimpanan hingga pemrosesan dan layanan real-time. Platform ini akan secara langsung mendukung strategi berbasis data perusahaan, memberdayakan bisnis untuk merespons perubahan pasar dengan cepat, dan memberikan dukungan data yang kuat untuk tim algoritma, analisis, dan produk.

Di sini, Anda akan memiliki kesempatan untuk berinteraksi dengan data besar, pemrosesan aliran dengan tingkat konkuren tinggi, dan berbagai komponen teknologi (seperti Flink, ClickHouse, Kafka, dll.), serta berpartisipasi dalam proses implementasi sistem kunci dari 0 hingga 1. Jika Anda bersemangat tentang rekayasa data dan ingin menantang batasan teknis dalam lingkungan internasional dengan kolaborasi tim yang beragam, kami dengan senang hati mengundang Anda untuk bergabung dengan kami!

Tanggung Jawab Pekerjaan:

•       Berpartisipasi dalam desain, pengembangan, dan optimasi platform big data perusahaan, mendukung pertumbuhan bisnis berkelanjutan dan keputusan berbasis data.

•       Bertanggung jawab atas pembangunan, pengoptimalan kinerja, pemantauan, dan pemeliharaan harian kluster ClickHouse, memastikan ketersediaan dan kinerja tinggi sistem.

•       Berpartisipasi dalam pengembangan, penerapan, dan pemeliharaan tugas pemrosesan aliran Flink, menjamin stabilitas rantai pemrosesan data real-time.

•       Mendukung kebutuhan layanan data dari pihak bisnis, mengembangkan layanan API data berbasis Java Spring Boot.

•       Membantu tim ilmuwan data membangun jalur data untuk mendukung pelatihan dan layanan online model algoritma.

•       Secara berkelanjutan mengoptimalkan proses pemrosesan data dan arsitektur sistem, meningkatkan stabilitas dan skalabilitas sistem.

•       Secara proaktif mengambil tanggung jawab dalam proyek, mendorong penyelesaian masalah, memiliki semangat kepemilikan, dan mampu menjaga kemampuan eksekusi serta komunikasi yang baik di bawah tekanan tinggi.

Persyaratan Posisi:

•       Gelaran sarjana atau lebih tinggi, diutamakan dari bidang komputer, rekayasa perangkat lunak, teknologi informasi, atau bidang terkait.

•       Pengalaman terkait big data minimal 5 tahun.

•       Dasar pengetahuan database yang kuat: mengenal database relasional (seperti MySQL, PostgreSQL) dan database kolom.

•       Memahami prinsip database kolom (seperti ClickHouse, Doris), termasuk mekanisme penyimpanan dan optimasi kueri yang mendasarinya.

•       Kemampuan pengembangan yang kuat: mahir dalam Java, memiliki pengalaman dalam menggunakan framework Spring Boot untuk mengembangkan layanan REST API.

•       Kemampuan komunikasi dan kolaborasi yang baik, dapat bekerja sama erat dengan tim analisis data, produk, dan bisnis.

•       Memiliki rasa tanggung jawab yang tinggi, kemampuan untuk bekerja di bawah tekanan, serta mampu secara proaktif mendorong kemajuan kerja.

Setelah enam bulan, lokasi kerja akan berpindah ke Jepang, memerlukan relokasi dan bekerja secara offline (perusahaan menyediakan dukungan visa dan bantuan relokasi terkait).

Poin bonus jika Anda juga memiliki:

1.  Pengalaman praktis dengan komponen seperti Kafka, Zookeeper, HDFS, Hive, Airflow;

2.  Pengalaman dalam proyek-proyek terkait sistem rekomendasi, profil pengguna, urutan personalisasi;

3.  Latar belakang dalam algoritma prediksi (seperti prediksi deret waktu, prediksi perilaku pengguna);

4.  Memahami dan memiliki pengalaman dengan model bahasa besar (LLM, seperti ChatGPT, LLama, dll.) dalam aplikasi bisnis atau sistem (seperti peningkatan data, ringkasan otomatis, tanya jawab cerdas);

5.  Pernah terlibat dalam proyek pembangunan data warehouse real-time dan sistem metrik;

6.  Pengalaman dalam membangun platform big data dari 0 hingga 1 lebih diutamakan.

 ClickHouse 

•       Menguasai pemodelan data ClickHouse, optimasi kueri, dan pengelolaan sumber daya;

•       Memiliki pengalaman praktis dalam pemeliharaan kluster, penyelidikan kesalahan, dan pemantauan kinerja;

•       Mengenal integrasi ClickHouse dengan middleware data/pemrosesan aliran/sistem penjadwalan;

Flink 

•       Memahami mekanisme dasar Flink, seperti checkpoint, state backend, window, dan mekanisme lainnya;

•       Dapat menulis tugas pemrosesan real-time Flink yang kompleks secara mandiri dan menyelesaikan masalah kinerja yang muncul selama operasi;

•      Memiliki pengalaman dalam penerapan dan pemeliharaan stabilitas kluster Flink.