Arquiteto de Dados - Databricks

Timestamp Group agrega diversas empresas portuguesas líderes em soluções e serviços de TI em torno dos conceitos de excelência e partilha de conhecimento. Apostamos na liderança tecnológica, assente na qualidade do nosso serviço e soluções tecnológicas, suportadas na formação e certificação contínuas.

Responsabilidades:

• Participar no desenho, implementação e optimização de arquiteturas de dados em plataformas Databricks, assegurando soluções escaláveis e resilientes para ingestão, processamento e disponibilização de dados.

• Colaborar com equipas de Engenharia de Dados, Analytics e Produto para definir padrões de governança, segurança e qualidade de dados (data lineage, catalogação, políticas de acesso).

• Desenvolver e validar pipelines ETL/ELT com foco em performance, fiabilidade e custo, utilizando Spark, Delta Lake e melhores práticas Databricks.

• Definir e implementar estratégias de partição, compactação e otimização de tabelas Delta para garantir latências de consulta reduzidas.

• Produzir documentação técnica, designs de solução, diagramas de arquitectura e guias de operação para ambientes de produção.

• Garantir a integração entre Databricks e outros componentes do ecossistema (data lakes em cloud, data warehouses, pipelines de ingestão, ferramentas de BI e ML).

• Participar na definição e implementação de processos de CI/CD para notebooks, jobs e infraestruturas associadas (IaC).

• Monitorizar e melhorar a observabilidade das plataformas de dados (telemetria, métricas de jobs, alerting e logs).

Requisitos base:

• Licenciatura em Engenharia Informática, Ciências de Computação, Engenharia de Dados, Matemática Aplicada ou área relacionada.

• Experiência comprovada mínima de 3 anos em engenharia/arquitectura de dados com uso de Databricks.

• Domínio de Spark (PySpark/Scala) e experiência prática com Delta Lake.

• Conhecimentos sólidos de modelação de dados (star schema, data vault, medallion architecture) e optimização de consultas.

• Experiência com clouds públicas (Azure, AWS ou GCP) e integração de serviços geridos com Databricks.

• Forte competência em SQL, transformação de dados e pipelines de ETL/ELT.

• Capacidade de especificar e entregar arquitecturas e designs prontos para produção.

• Boa comunicação, orientação para trabalho em equipa e vontade de aprendizagem contínua.

Requisitos valorizados:

• Certificações Databricks (exa. Databricks Certified Data Engineer) ou certificações em cloud.

• Experiência com infraestruturas como código (Terraform, ARM templates) e integração com pipelines CI/CD.

• Conhecimentos de plataformas de orquestração (Airflow, Prefect) e ferramentas de catalogação (e.g. Unity Catalog, Glue, Amundsen).

• Experiência em casos de uso de Machine Learning em Databricks (MLflow, modelos em produção).

• Compreensão de práticas de segurança de dados e compliance (encriptação, gestão de chaves, políticas de acesso).

• Fluência em inglês técnico.

Competências pessoais:

• Capacidade analítica e resolução de problemas.

• Proatividade, autonomia e orientação a resultados.

• Excelentes competências de comunicação e colaboração com stakeholders técnicos e não técnicos.

• Adaptabilidade a ambientes dinâmicos e mudança tecnológica contínua.

Benefícios para os colaboradores:

• Seguro de saúde

• Flexibilidade na rotina organizacional e possibilidades de trabalho remoto/híbrido

• Formação e certificações contínuas

• Programa de Apoio ao Colaborador (inclui apoio psicológico)

• Ofertas de aniversário e aniversário de empresa

• Happy Hour mensal e iniciativas de team building

• Portal de benefícios com ofertas atrativas