Visão Geral da Posição:

Estamos em busca de um engenheiro de desenvolvimento de big data com forte conhecimento técnico e experiência prática para se juntar à nossa equipe de plataforma de dados central. Você terá um papel fundamental no design e construção da próxima geração da plataforma de dados da empresa, responsável por orquestrar e otimizar uma arquitetura de processamento de dados de alto desempenho e escalável, abrangendo toda a cadeia, desde a coleta, limpeza, armazenamento até o processamento em tempo real e serviços. Essa plataforma apoiará diretamente a estratégia orientada por dados da empresa, permitindo que os negócios respondam rapidamente às mudanças do mercado e oferecendo um suporte robusto para as equipes de algoritmos, análise e produtos.

Aqui, você terá a oportunidade de trabalhar com grandes volumes de dados, processamento de fluxo de alta concorrência e componentes tecnológicos diversos (como Flink, ClickHouse, Kafka, entre outros), além de participar do processo de implementação de sistemas críticos do 0 ao 1. Se você é apaixonado por engenharia de dados e deseja desafiar os limites técnicos em um ambiente internacional e colaborativo, convidamos você a se juntar a nós!

Responsabilidades do Trabalho:

•       Participar do design, desenvolvimento e otimização da plataforma de big data da empresa, suportando o crescimento contínuo dos negócios e a tomada de decisões orientadas por dados.

•       Responsável pela construção do cluster ClickHouse, ajuste de desempenho, monitoramento e manutenção diária, garantindo alta disponibilidade e alto desempenho do sistema.

•       Participar do desenvolvimento, implantação e manutenção de tarefas de processamento de fluxo Flink, assegurando a estabilidade da cadeia de processamento de dados em tempo real.

•       Apoiar as demandas de serviços de dados da área de negócios, desenvolvendo serviços de API de dados baseados em Java Spring Boot.

•       Auxiliar a equipe de ciência de dados na construção de pipelines de dados, suportando o treinamento e a prestação de serviços online de modelos de algoritmos.

•       Otimizar continuamente os processos de processamento de dados e a arquitetura do sistema, aumentando a estabilidade e escalabilidade do sistema.

•       Assumir responsabilidades proativamente nos projetos, impulsionando a solução de problemas, com espírito de dono, capaz de manter boa capacidade de execução e comunicação sob pressão.

Requisitos da Posição:

•       Graduação ou superior em Ciência da Computação, Engenharia de Software, Tecnologia da Informação ou áreas afins é preferível.

•       Mais de 5 anos de experiência em big data.

•       Base sólida em bancos de dados: familiaridade com bancos de dados relacionais (como MySQL, PostgreSQL) e bancos de dados de coluna.

•       Conhecimento dos princípios de bancos de dados de coluna (como ClickHouse, Doris), entendendo seus mecanismos de armazenamento subjacente e otimização de consultas.

•       Habilidade de desenvolvimento: proficiência em Java, com experiência no desenvolvimento de serviços REST API usando o framework Spring Boot.

•       Excelentes habilidades de comunicação e colaboração, capaz de trabalhar em estreita colaboração com as equipes de análise de dados, produtos e negócios.

•       Responsável, com boa capacidade de trabalhar sob pressão e resolver problemas, capaz de impulsionar o progresso do trabalho de forma proativa.

Após seis meses, o local de trabalho será no Japão, requerendo mudança e trabalho presencial (a empresa oferece suporte para visto e assistência relacionada à mudança).

Pontos bônus se você também tiver:

1.  Experiência prática com componentes como Kafka, Zookeeper, HDFS, Hive, Airflow;

2.  Experiência em projetos relacionados a sistemas de recomendação, perfil de usuário, ordenação personalizada;

3.  Conhecimento em algoritmos preditivos (como previsão de séries temporais, previsão de comportamento do usuário);

4.  Familiaridade e experiência com grandes modelos de linguagem (LLM, como ChatGPT, LLama) em cenários de aplicação de negócios ou sistemas (como aumento de dados, resumo automático, perguntas e respostas inteligentes);

5.  Experiência em projetos de construção de armazéns de dados em tempo real e sistemas de indicadores;

6.  Preferência para candidatos com experiência na construção de plataformas de big data do 0 ao 1.

 ClickHouse 

•       Domínio em modelagem de dados, otimização de consultas e controle de recursos no ClickHouse;

•       Experiência prática em operações de cluster, resolução de falhas e monitoramento de desempenho;

•       Familiaridade com a integração do ClickHouse com middleware de dados/processamento de fluxo/sistemas de agendamento.

Flink 

•       Familiaridade com os mecanismos subjacentes do Flink, como checkpoint, state backend, janela, etc.;

•       Capacidade de escrever de forma independente tarefas complexas de processamento em tempo real com Flink e resolver problemas de desempenho durante a execução;

•      Experiência em implantação de clusters Flink e manutenção de estabilidade.