[JOB 29729] Engenheiro de Dados Senior (Databricks, PySpark e MongoDB)

Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados Sênior em um projeto focado em integração, processamento, modelagem e otimização de dados, com forte utilização de Databricks, PySpark e MongoDB.

O profissional deverá ter perfil hands-on, autonomia técnica, visão crítica e foco em produtividade, qualidade, performance e melhoria contínua. Atuará em squads ágeis, colaborando com equipes técnicas e de negócio para definição, refinamento, desenvolvimento e sustentação de soluções de dados escaláveis.

As principais tecnologias e competências envolvidas são:

* Databricks com PySpark
* Spark e Python
* MongoDB
* Modelagem e manipulação de dados estruturados e semiestruturados
* Construção e otimização de pipelines de dados
* Integração entre fontes relacionais, não relacionais e ambientes analíticos
* Boas práticas de engenharia, versionamento e qualidade de dados
* Experiência com metodologias ágeis
* Diferencial em uso de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado

O profissional deve possuir sólidos conhecimentos em engenharia de dados, lógica de programação, desenvolvimento de pipelines escaláveis, otimização de performance e boas práticas de desenvolvimento, além de colaborar com áreas de negócio e tecnologia para definição, revisão e implementação de regras e soluções de dados.

Responsabilidades:

* Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, Spark e PySpark.
* Atuar na integração, extração, transformação e carga de dados provenientes de bases MongoDB.
* Trabalhar com dados estruturados, semiestruturados e documentos JSON, garantindo organização, qualidade e consistência das informações.
* Desenvolver processos de ingestão, transformação e disponibilização de dados para consumo analítico e operacional.
* Construir produtos de dados escaláveis, com foco em performance, confiabilidade e qualidade.
* Garantir boas práticas de desenvolvimento, assegurando que as soluções de dados sigam padrões de qualidade, eficiência, escalabilidade e manutenibilidade.
* Aplicar boas práticas de versionamento, testes, revisão de código e qualidade de dados.
* Apoiar refinamentos técnicos e funcionais, garantindo clareza, viabilidade e aderência das histórias às necessidades do projeto.
* Apoiar na construção de histórias de usuário bem definidas, facilitando o desenvolvimento pelos times de engenharia de dados.
* Participar do desenho AS-IS e TO-BE, documentando processos atuais e futuros, identificando débitos técnicos, riscos e oportunidades de melhoria.
* Desenvolver histórias refinadas e aprovadas, garantindo qualidade, eficiência e aderência aos padrões técnicos.
* Colaborar com focais de dados, negócio e tecnologia para garantir que as soluções estejam alinhadas às necessidades do negócio e às melhores práticas de engenharia.
* Propor melhorias contínuas nos processos, arquitetura, performance e produtividade do time.
* Utilizar, quando aplicável, ferramentas de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado, visando ganho de produtividade e qualidade.

Qualificações Necessárias:

Conhecimentos Técnicos:

* Forte experiência com Databricks e PySpark.
* Sólido conhecimento em Spark, Python e lógica de programação.
* Experiência com MongoDB, incluindo consultas, modelagem de documentos e manipulação de dados em formato JSON.
* Experiência na construção de pipelines de dados escaláveis e performáticos.
* Conhecimento em integração de dados entre MongoDB e ambientes analíticos.
* Capacidade de trabalhar com dados estruturados, semiestruturados e não relacionais.
* Domínio de boas práticas de engenharia de dados, versionamento, testes, revisão de código e qualidade de dados.
* Experiência em otimização de performance de pipelines e processamento distribuído.
* Experiência em squads ágeis e metodologias ágeis.
* Capacidade de atuar na identificação de débitos técnicos, melhoria de processos e evolução de soluções existentes.
* Diferencial: experiência com uso de IA aplicada ao desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado.

Qualidades Comportamentais:

* Proatividade para aumentar a capacidade de entrega do time.
* Perfil hands-on, com autonomia para conduzir atividades técnicas.
* Capacidade analítica para interpretar bases de dados, regras de negócio e propor soluções.
* Habilidade de resolução de problemas, identificando causas, riscos e alternativas.
* Perfil consultivo, trazendo ideias, soluções e melhorias para o projeto, sem aguardar apenas direcionamentos.
* Visão 360º, entendendo o projeto como um todo e avaliando impactos técnicos e de negócio das soluções propostas.
* Comunicação assertiva, com clareza, confiança e respeito.
* Visão crítica, foco em produtividade e melhoria contínua.
* Capacidade de colaboração com times técnicos, áreas de negócio e stakeholders.