Engenharia de Dados AWS Sênior - 136709

O que buscamos:

Buscamos um(a) profissional de Engenharia de Dados L3 com experiência em coleta, processamento, transformação e gerenciamento de grandes volumes de dados, utilizando ferramentas de ETL, Python/PySpark e serviços de Cloud AWS.

O profissional será responsável pela manutenção de pipelines de dados, garantia da segurança e qualidade das informações, criação de métricas e estruturação de dados para consumo analítico e de negócio.

A posição terá forte atuação na modernização da plataforma de dados, com foco em arquitetura Lakehouse utilizando Apache Iceberg, modelagem dimensional, governança, observabilidade e preparação de dados para consumo analítico e aplicações de Inteligência Artificial.

Responsabilidades:

• Organizar, coletar e processar grandes volumes de dados utilizando ferramentas de ETL;


• Traduzir os objetivos de negócio do cliente em estratégias de gerenciamento de informações e inteligência de negócios;


• Desenvolver e manter pipelines de dados, garantindo a segurança no acesso às informações;


• Criar e disponibilizar métricas e painéis sobre os dados obtidos, assegurando a qualidade e a integridade das informações;


• Atuar na modernização da plataforma de dados, com foco em arquitetura Lakehouse, governança, qualidade e preparação dos dados para consumo analítico e de IA;


• Estruturar modelos dimensionais para consumo por times de negócio, dashboards e relatórios;


• Atuar em todo o ciclo de vida dos dados, incluindo ingestão, processamento, armazenamento, transformação, consumo e governança;


• Desenvolver e otimizar pipelines utilizando Python, PySpark e serviços da AWS;


• Trabalhar com Apache Iceberg, contribuindo para o gerenciamento de tabelas analíticas, versionamento, evolução de schema, particionamento e otimização de performance;


• Utilizar mecanismos de consulta para grandes volumes de dados, como Athena, Trino, Presto ou Spark SQL, trabalhando com formatos colunares como Parquet e ORC;


• Implementar testes unitários e de performance, além de boas práticas de segurança, controle de acesso e monitoramento em nuvem;


• Contribuir para a qualidade, rastreabilidade, integridade e eficiência dos processos de dados.

Requisitos e Qualificações

• Experiência com coleta, transformação e carga de dados utilizando ferramentas de ETL;


• Experiência com Python e PySpark;


• Experiência com serviços AWS, incluindo Glue, EMR, Athena, SNS, Lambda, Step Functions, S3, Lake Formation, IAM e CloudWatch;


• Conhecimento em bancos de dados NoSQL, como MongoDB e DynamoDB, e tecnologias relacionadas a Hadoop;


• Experiência com arquitetura Lakehouse e Apache Iceberg, incluindo gerenciamento de tabelas analíticas, versionamento, evolução de schema, particionamento e otimização de performance;


• Experiência com query engines para grandes volumes de dados, como Athena, Trino, Presto ou Spark SQL;


• Conhecimento em formatos colunares, como Parquet e ORC;


• Experiência com modelagem dimensional, incluindo fatos, dimensões, granularidade, chaves, hierarquias, métricas e indicadores;


• Experiência no processamento de dados estruturados, semiestruturados e não estruturados;


• Conhecimento na execução de testes unitários e testes de performance;


• Experiência com boas práticas de segurança, controle de acesso e monitoramento em ambientes Cloud.

Diferenciais

• Certificações AWS Practitioner e AWS Data Engineer;


• Experiência com Data Quality e Data Observability, incluindo validações de completude, consistência, unicidade, integridade e acurácia, monitoramento contínuo e detecção de anomalias;


• Conhecimento em infraestrutura como código, como Terraform, e ferramentas de monitoramento, como CloudWatch;


• Conhecimento em Data Mesh, incluindo dados como produto, ownership por domínio, governança federada, infraestrutura self-service, contratos de dados e catálogo;


• Conhecimento em Inteligência Artificial aplicada a dados, incluindo feature stores, integração de pipelines com modelos de IA e preparação de dados limpos e rastreáveis para utilização em modelos.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;


• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;


• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;


• Tenha habilidades de resolução de problemas;


• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;


• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT