Funções e Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e fluxos de trabalho ETL.
• Trabalhar com grandes conjuntos de dados e garantir ingestão, transformação e armazenamento eficientes de dados.
• Otimizar arquiteturas de dados para desempenho, confiabilidade e escalabilidade.
• Desenvolver e manter scripts baseados em Python para automação e processamento de dados.
• Trabalhar com bancos de dados relacionais e NoSQL.
• Integrar dados de várias fontes, incluindo APIs, armazenamento em nuvem e plataformas de streaming.
• Monitorar pipelines de dados, solucionar problemas de desempenho e garantir a integridade dos dados.
• Colaborar com cientistas e analistas de dados para apoiar projetos de aprendizado de máquina e análises.
• Implementar governança de dados, segurança e melhores práticas de conformidade.

Habilidades e Qualificações Requeridas:

• mais de 3 anos de experiência em engenharia de dados.
• Fortes habilidades em Python para processamento e automação de dados.
• Experiência com frameworks de ETL.
• Compreensão sólida de bancos de dados SQL e NoSQL.
• Experiência com tecnologias de big data

Por favor, consulte a descrição do trabalho.