Databricks Data Engineer |Senior (Remote)

.

• Construir o novo Lakehouse corporativo utilizando Databricks na AWS;
• Desenvolver pipelines de dados batch e streaming com PySpark e Spark SQL;
• Criar e sustentar a arquitetura Medallion (Bronze, Silver e Gold) no Delta Lake;
• Participar da criação da nova modelagem de dados do Data Warehouse;
• Migrar dados, pipelines e rotinas do ambiente atual em Databricks on Azure para AWS;
• Migrar jobs e integrações do IBM DataStage, Azure Data Factory e Azure Synapse Analytics;
• Migrar Workspaces Databricks entre ambientes Azure e AWS;
• Configurar e operar governança de dados utilizando Unity Catalog e Odin;
• Implementar monitoramento, testes e qualidade de dados;
• Atuar em conjunto com DevOps na automação de deploys e CI/CD;
• Versionar notebooks, pipelines e códigos utilizando Git e Databricks Repos.

• Experiência sólida como Engenheiro(a) de Dados;
• Conhecimento avançado em Databricks e Apache Spark;
• Experiência com desenvolvimento em Python e SQL avançado;
• Vivência em ambientes AWS(S3,Glue Catalog,Lake Formation);
• Experiência com arquitetura Lakehouse e Delta Lake;
• Conhecimento em modelagem dimensional e Data Warehouse;
• Experiência com pipelines batch e streaming;
• Conhecimento em Git e processos de CI/CD;
• Experiência em projetos de migração cloud e modernização de dados.
• Diferenciais:
• Experiência com IBM DataStage;
• Conhecimento em Azure Data Factory,Azure Synapse Analytics;
• Experiência com governança e catalogação de dados.