base深圳, uzaktan çalışma

İş Tanımı:

• Büyük miktarda web3 verisi üzerinden veri değerini çıkararak, kullanıcı profilleri ve zincir profilleri veri sistemleri oluşturmak, veri modelini sürekli optimize etmek.
• Zincir üzerindeki veri entegrasyonu ve analiz süreçlerine hakim olmak, merkezi depolama optimizasyonu yapmak.
• Gerçek zamanlı ve çevrimdışı veri kontrolü sağlamak, veri kalitesini yönetmek.
• Zincir üzerindeki veri platformu inşası (Java öncelikli), mimari ve çözüm tasarımı yapmak.
• Aşırı büyük veri miktarının depolanması ve sorgulama akışını optimize etmek. Mevcut veri mimarisi için sistematik bir yeniden yapılandırma önerisi sunmak.

İş Gereksinimleri:

• ES, ClickHouse, Hbase, Kafka, Redis gibi ancak bunlarla sınırlı olmayan genel büyük veri depolama motorları ve mesaj ara katmanlarına hakim olmak
• Hadoop, HDFS, Spark gibi genel dağıtık sistemlere aşina olmak, dağıtık motorları kullanarak verimli veri temizleme görevleri yazabilmek
• Büyük Flink görevleri için, yürütme planı, kaynak yapılandırması, parametre ayarlamaları ve alt düzey kaynak kodu gibi çeşitli açılardan optimizasyon sağlayabilen gerçek zamanlı işleme motoru Flink'e hakim olmak
• Veri yönetimi senaryolarında, mevcut veri problemlerini tespit etmek için çeşitli yöntemler kullanabilmek
• Veri kalitesi yönetimi konusunda sistematik bir yönetim planına sahip olmak ve veri kalitesi yönetim platformu DQC'nin geliştirilmesine katılmak
• Java teknoloji yığınına hakim olmak, Spring Cloud, MyBatis gibi açık kaynak çerçeveleri kullanabilmek
• Jvm optimizasyon teorisine aşina olmak, mevcut veri platformunun optimizasyon teşhisini yapabilmek

Artı Puan:

• Kullanıcı profilleme sistemi deneyimi
• Yüksek kaliteli veri madenciliği deneyimi (strateji algoritmaları, makine öğrenimi vb. temelinde)