Veri pipeline'larını ve ETL süreçlerini tasarlamak, uygulamak ve sürdürmekten sorumlu olacaksınız. Spark, Talend, Airflow, Python ve SQL konusundaki uzmanlığınızla, verinin sistemlerimiz arasında verimli bir şekilde akışını ve dönüşümünü sağlayacaksınız.

Ana Sorumluluklar:

• Veri Pipeline Geliştirme: Apache Spark kullanarak ölçeklenebilir veri pipeline'ları tasarlayın ve geliştirin, verimli veri işleme ve dönüşümünü sağlayın.
• ETL Süreçleri: Birden fazla kaynaktan veriyi sistemlerimize entegre etmek için ETL (Extract, Transform, Load) iş akışlarını oluşturun ve yönetin.
• Veri Entegrasyonu: Veri temizleme, dönüşüm ve yükleme görevleri için Talend'i kullanın.
• İş Akışı Otomasyonu: Veri işleme görevlerini otomatikleştirmek ve optimize etmek için Apache Airflow kullanarak veri iş akışlarını uygulayın ve yönetin.
• Programlama: Veri manipülasyonu, dönüşümü ve analizi için Python kullanarak betikler yazın.
• Veritabanı Yönetimi: İlişkisel veritabanlarında verimli veri alımı ve analizi için SQL sorgularını geliştirin ve optimize edin.
• İşbirliği: Veri bilimcileri, analistler ve diğer paydaşlarla sıkı çalışarak veri ihtiyaçlarını anlayın ve etkili çözümler sunun.
• Veri Kalitesi: Verinin doğruluğunu, tutarlılığını ve kalitesini titiz doğrulama ve izleme süreçleriyle sağlayın.
• Belgeleme: Veri süreçleri, pipeline'lar ve entegrasyon iş akışları için ayrıntılı belgeler oluşturun ve bakımını yapın.

Gerekli Beceriler ve Nitelikler:

• Büyük ölçekli veri işleme ve analitik için Apache Spark'ta yeterlilik.
• Talend dahil ETL süreçleri ve araçları ile deneyim.
• Veri iş akışlarını ve otomasyonu yönetmek için Apache Airflow ile tanışıklık.
• Veri mühendisliği görevleri için Python'da güçlü programlama becerileri.
• İlişkisel veritabanlarını sorgulama ve yönetme için ileri düzey SQL becerileri.

Lütfen iş tanımına bakın.