Veri Mühendisi

Mergen Partners Private Limited

₱200-230K[Aylık]
Uzak5-10 Yrs ExpÜniversite mezunuTam zamanlı
Paylaşmak

Uzaktan Ayrıntılar

Açık ÜlkeFilipinler

Dil Gereksinimleriİngilizce

Bu uzaktan iş belirli ülkelerdeki adaylara açıktır. Olası konum kısıtlamalarına rağmen devam etmek isteyip istemediğinizi lütfen onaylayın

İş tanımı

Orijinal metni göster

Açıklama

Siz Müsait Misiniz?

Bir Teknik Lider Mühendisi - Veri olarak, AWS S3, Glue, Lake Formation ve DMS üzerinde inşa edilmiş uçtan uca bir veri platformunu mimarlık edecek, uygulayacak ve ölçeklendireceksiniz. Dolandırıcılık, finans, ürün ve mühendislik gibi paydaşlarla iş birliği yaparak güvenilir, zamanında ve güvenli veri erişimini sağlamak amacıyla küçük bir mühendis ekibine liderlik edeceksiniz.

Veri tasarımı, yönetimi ve gözlemlenebilirlik konularında en iyi uygulamaları savunacak, mühendislik verimliliğini artırmak ve içgörüye ulaşma süresini hızlandırmak için Üretken AI araçlarından yararlanacaksınız.


Veri tasarımı, yönetimi ve gözlemlenebilirlik konularında en iyi uygulamaları savunacak, mühendislik verimliliğini artırmak ve içgörüye ulaşma süresini hızlandırmak için Üretken AI araçlarından yararlanacaksınız.


Katkıda Bulunacaksınız

  • AWS yerel hizmetlerden yararlanarak akış ve toplu iş yükleri için veri göleti mimarisinin tasarımını ve ölçeklenebilirliğini sahiplenmek.
  • AWS Glue, DMS, Kinesis/Kafka ve PySpark kullanarak alma, dönüştürme ve depolama boru hatlarının geliştirilmesine liderlik etmek.
  • Aşağı akış hizmetleri için gerçek zamanlı ve zaman yolculuğu sorgularını desteklemek amacıyla verileri açık tablo formatlarına (Apache Iceberg, Delta Lake) yapılandırmak ve geliştirmek.
  • Veri ürünleştirmesini yönlendirmek, dolandırıcılık tespiti, uzlaştırma ve raporlama kullanım senaryoları için küratörlü veri setlerine API öncelikli ve kendi kendine hizmet erişimini sağlamak.
  • Kritik veri boru hatları için SLA ve SLO'ları tanımlamak ve takip etmek, düzenlenmiş bir fintech ortamında yüksek kullanılabilirlik ve veri doğruluğunu sağlamak.
  • Veri güvenliğini, köken izleme, erişim kontrolü ve uyumluluğu (GDPR, MAS TRM) sağlamak amacıyla InfoSec, SRE ve Veri Yönetimi ekipleriyle iş birliği yapmak.
  • Test harness'ları, şema belgeleri, dönüşüm iskeletleri ve performans içgörüleri otomatik olarak üreterek geliştirici verimliliğini artırmak amacıyla Üretken AI araçlarından yararlanmak.
  • Veri mühendislerine rehberlik etmek, teknik yön belirlemek ve yüksek kaliteli, gözlemlenebilir veri boru hatlarının teslimatını sağlamak.


Sorumluluklar

  • AWS Glue, Step Functions, Airflow veya EMR gibi araçlar kullanarak gerçek zamanlı ve toplu paradigmalar arasında ölçeklenebilir, maliyet optimizasyonlu boru hatları mimarlığı yapmak.
  • Şema kayması yönetimi ve düşük gecikmeli çoğaltma üzerinde odaklanarak AWS DMS kullanarak işlem kaynaklarından veri alımını yönetmek.
  • S3'te depolanan, Glue ve Lake Formation ile kataloglanmış Iceberg veya Hudi tabloları için verimli bölümleme, sıkıştırma ve meta veri stratejileri tasarlamak.
  • Makine destekli süreçleri (örneğin, dolandırıcılık motorları) ve insan okunabilir arayüzleri (örneğin, panolar) desteklemek amacıyla veri martları, denetim görünümleri ve analitik katmanlar oluşturmak.
  • AçıkLineage veya Great Expectations aracılığıyla metrikler, uyarılar ve köken izleme ile sağlam bir veri gözlemlenebilirliği sağlamak.
  • Paydaşlar ve üst düzey liderlik ile veri maliyeti, performansı, şema evrimi ve mimari tasarımının üç aylık incelemelerini yönetmek.
  • GitOps ve Terraform gibi araçları kullanarak sürüm kontrolü, CI/CD ve kod olarak altyapı uygulamalarını zorunlu kılmak.

Gereklilik

  • En az 7 yıllık veri mühendisliği deneyimi.
  • AWS veri yığını ile derin uygulamalı deneyim: Glue (İşler & Tarayıcılar), S3, Athena, Lake Formation, DMS ve Redshift Spectrum.
  • Gerçek zamanlı, akış ve toplu sistemler için veri boru hatları tasarlama konusunda uzmanlık; şema tasarımı, format optimizasyonu ve SLA'lar dahil.
  • Analitik işleme ve dönüşüm için Python (PySpark) ve gelişmiş SQL'de güçlü programlama becerileri.
  • Açık tablo formatları (Iceberg, Delta Lake, Hudi) kullanarak ölçekli veri mimarilerini yönetme konusunda kanıtlanmış deneyim.
  • Kinesis/Kafka ile akış işleme anlayışı ve Airflow veya Step Functions aracılığıyla orkestrasyon.
  • Düzenlenmiş ortamlarda veri erişim kontrolleri, şifreleme politikaları ve uyum iş akışları uygulama deneyimi.
  • Ekipleri yönlendirme, mimari kararlar alma ve çok disiplinli paydaşlarla iş birliği yapma yeteneği.

Artı Puanlar

  • Pci DSS veya herhangi bir merkez bankası tarafından düzenlenen ortamlarda audit kaydı ve veri saklama gereklilikleri ile çalışma deneyimi.
  • Mutabakat, iade analizi veya dolandırıcılık tespiti etrafında kullanım senaryoları ile ödeme veya bankacılık alanında deneyim.
  • Veri sözleşmeleri, veri mesh desenleri ve veri ürün ilkeleri hakkında aşinalık.
  • Veri belgelerini otomatikleştirmek, veri testleri oluşturmak veya mutabakat kullanım senaryolarını desteklemek için GenAI kullanma deneyimi.
  • AWS Glue, Athena ve S3'te performans ayarlama ve maliyet optimizasyon stratejilerine maruz kalma.
SQLPythonpysparkAWS DatastackGlueS3AthenaLake Formation
Preview

Jatin Kaushik

DirectorMergen Partners Private Limited

Üç gün içinde aktif

Yayınlandı 26 June 2025

Rapor

Bossjob Güvenlik Hatırlatması

Eğer pozisyon yurt dışında çalışmanızı gerektiriyorsa lütfen dikkatli olun ve dolandırıcılığa karşı dikkatli olun.

İş arayışınız sırasında aşağıdaki davranışlara sahip bir işverenle karşılaşırsanız, lütfen hemen bildirin

  • kimliğinizi saklıyor,
  • bir garanti vermenizi veya mülkünüzü tahsil etmenizi gerektiriyorsa,
  • sizi yatırım yapmaya veya fon toplamaya zorluyorsa,
  • Yasadışı menfaatler topluyor,
  • veya diğer yasa dışı durumlar.