Engenharia de Dados | Híbrido/SP - 135604

O que buscamos:

Estamos em busca de um profissional Data Engineer L3 para atuar em projetos de Big Data e Data Engineering, no setor financeiro, utilizando Apache Spark, PySpark, SQL e Databricks, contribuindo para o desenvolvimento, evolução e otimização de pipelines e processos de dados.

Responsabilidades:

O profissional atuará em conjunto com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio, com foco em escalabilidade, performance, qualidade, governança e eficiência dos processos de dados.

• Desenvolver, implementar e manter pipelines de dados (ETL/ELT) utilizando Apache Spark, PySpark e SQL;


• Trabalhar com Delta Lake, garantindo qualidade, integridade e performance dos dados;


• Criar e otimizar jobs e workflows no Databricks, com foco em escalabilidade, desempenho e eficiência;


• Implementar controles de qualidade, monitoramento e rastreabilidade dos dados;


• Atuar na análise e resolução de problemas relacionados aos pipelines e processamento de dados;


• Aplicar boas práticas de desenvolvimento, versionamento, testes e CI/CD;


• Otimizar processamento e consumo de recursos Cloud, buscando eficiência técnica e financeira;


• Trabalhar de forma integrada com times de Engenharia de Dados, Arquitetura, Analytics e áreas de negócio;


• Apoiar a evolução da arquitetura e dos processos de Big Data e Data Engineering.

Requisitos:

• Experiência com Databricks;


• Experiência com Azure Databricks para desenvolvimento e processamento de dados;


• Conhecimento de Azure Data Factory (ADF) para integração e orquestração de pipelines;


• Experiência com integração entre Databricks e serviços Azure;


• Conhecimento de Unity Catalog, incluindo catálogo, schemas, permissões e governança de dados;


• Conhecimento de mecanismos de autenticação e autorização Azure, incluindo Microsoft Entra ID, Managed Identities e Service Principals;


• Experiência com Git e CI/CD, preferencialmente utilizando Azure DevOps;


• Conhecimento de práticas de Data Quality, monitoramento, tratamento de erros e observabilidade de pipelines;


• Capacidade de realizar troubleshooting e otimização de performance de processos Spark e Databricks;


• Conhecimento de boas práticas de segurança, governança e controle de acesso aos dados;


• Conhecimento de otimização de custos em Azure e Databricks, considerando clusters, capacidade computacional, armazenamento e execução de workloads.

Desejável / Diferencial

• Conhecimento no mercado financeiro;

• Unity Catalog


•  Azure DevOps

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;


• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;


• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;


• Tenha habilidades de resolução de problemas;


• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;


• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT