Engenheiro de Plataforma de Dados Senior

Quem é o candidato que procuramos:

Estamos à procura de um Engenheiro de Plataforma de Dados Sênior para se juntar à nossa equipe. Nosso objetivo é ser o líder da próxima geração de software de CRM para o varejo, lidando com milhões de shoppers distribuídos em centenas de clientes em todo o Brasil.  
Ajudar nossos clientes a encantar e entregar as melhores ofertas para seus shoppers, nos traz o desafio de interagir e analisar com terabytes de dados, utilizando as últimas técnicas de analytics, superando diariamente os desafios tecnológicos. Nos preocupamos com a cultura de desenvolvimento, comunicação, qualidade do código e troca de conhecimento como práticas básicas de uma equipe feliz e sagaz. Algumas das tecnologias que estamos usando: Java, Scala, Spark, MySQL, Postgresql, SQL, Python, AWS Cloud Services (S3, EMR, Lambda, StepFunctions, Athena, Glue Data Calalog, Dynamodb, Kinesis, SQS, SNS, EC2, ECS, EKS, Fargate e Redshift), Microsoft Azure Cloud Services (Data Factory, Analysis Services, Synapse  Analytics, Azure Data Lake), Databricks, Desenvolvimento de ETL as a Code.

 Principais conhecimentos

• Ajudar-nos a evoluir a arquitetura da plataforma de dados, para fornecer uma solução de melhoria contínua da melhor forma possível para as necessidades da estratégia de tecnologia da empresa; 

• Desenvolvimento de Data Lake / Lakehouse em larga escala utilizando Spark;  

• Experiência de trabalho com o Frameworks para Lakehouse: Delta Lake, ou Hudi, ou Iceberg; 

• Projetar Plataformas de Dados (DW, ou DM, ou Data Quality, ou Data Lake e ou Lakehouse) como Soluções estruturantes para escalabilidade de Negócio; 

• Projetar Data Pipelines conjugados a processos de: Linhagem de Dados, Camadas Semânticas e Catálogo de Dados; 

• Projetar e implementar soluções de dados escaláveis e eficientes para atender às necessidades de negócios;  

• Colaborar com orientação técnica aos colegas;  

• Colaborar com as equipes de Ciência de Dados e QA para definir, projetar e lançar novos recursos para servir modelos que suportem produtos de inteligência;  

• Revisão o código dos colegas, forneça feedback construtivo e garanta a aderência às práticas recomendadas;  

• Participação ágil em cerimônias, no que diz respeito à identificação e resolução de débitos técnicos;  

• Manter-se atualizado com as tendências e tecnologias emergentes, trazendo novas ideias e insights para a equipe; 

Ajudar-nos a evoluir a arquitetura da plataforma de dados, para fornecer uma solução de melhoria contínua da melhor forma possível para as necessidades da estratégia de tecnologia da empresa; 

Desenvolvimento de Data Lake / Lakehouse em larga escala utilizando Spark;  

Experiência de trabalho com o Frameworks para Lakehouse: Delta Lake, ou Hudi, ou Iceberg; 

Projetar Plataformas de Dados (DW, ou DM, ou Data Quality, ou Data Lake e ou Lakehouse) como Soluções estruturantes para escalabilidade de Negócio; 

Projetar Data Pipelines conjugados a processos de: Linhagem de Dados, Camadas Semânticas e Catálogo de Dados; 

Projetar e implementar soluções de dados escaláveis e eficientes para atender às necessidades de negócios;  

Colaborar com orientação técnica aos colegas;  

Colaborar com as equipes de Ciência de Dados e QA para definir, projetar e lançar novos recursos para servir modelos que suportem produtos de inteligência;  

Revisão o código dos colegas, forneça feedback construtivo e garanta a aderência às práticas recomendadas;  

Participação ágil em cerimônias, no que diz respeito à identificação e resolução de débitos técnicos;  

Manter-se atualizado com as tendências e tecnologias emergentes, trazendo novas ideias e insights para a equipe;