O que buscamos:

Profissional de Engenharia de Dados Sênior com forte atuação em desenvolvimento backend Python e construção de pipelines de dados em ambiente GCP, com inglês avançado para conversação para atuação em equipe internacional.

Responsabilidades:

• Atuar na manutenção e evolução de pipelines ETL multiestágio em diferentes domínios de dados;


• Implementar transformações de dados, como conversões, filtragem de outliers, preenchimento de lacunas, suavização e interpolação;


• Diagnosticar e corrigir problemas de qualidade de dados em pipelines produtivos;


• Projetar e manter configurações de mapeamento de campos baseadas em YAML para novas fontes de dados;


• Consultar e carregar dados utilizando Cloud SQL e BigQuery;


• Construir e manter endpoints utilizando FastAPI seguindo princípios de arquitetura limpa;


• Desenvolver testes unitários e de integração utilizando pytest;


• Colaborar em revisões de código e manutenção de pipelines de CI/CD no Azure DevOps;


• Trabalhar diretamente com dados brutos e pipelines produtivos, garantindo eficiência e confiabilidade;


• Traduzir regras de negócio em transformações eficientes utilizando pandas;

Requisitos e Qualificações:

• Inglês avançado para comunicação diária com times internacionais;


• Experiência sólida com Python (versão 3.10 ou superior);


• Domínio de dataclasses, type hints e abstract base classes;


• Experiência com pandas e NumPy para processamento de dados em larga escala;


• Experiência com scipy para otimização e ajuste de curvas;


• Experiência com SQLAlchemy (Core e ORM);


• Vivência na construção de APIs assíncronas utilizando FastAPI e asyncio;


• Experiência com Cloud SQL e autenticação via IAM no GCP;


• Experiência com BigQuery para consulta e carga de dados;


• Experiência com Cloud Storage para manipulação de arquivos;


• Conhecimento em service accounts e controle de acesso (IAM);


• Experiência no design e debugging de pipelines de dados multiestágio;


• Forte entendimento de processamento de dados sequenciais ou séries temporais;


• Experiência com validação de dados, deduplicação e imputação;


• Experiência com pipelines orientados a configuração (YAML);


• Experiência com Docker e Docker Compose;


• Experiência com pipelines de CI/CD (preferencialmente Azure DevOps);


• Experiência com gerenciamento de dependências utilizando Poetry;


• Conhecimento básico de Redis como camada de cache;


• Capacidade de comunicação clara de decisões técnicas e atuação colaborativa com times multidisciplinares;

Diferenciais:

• Experiência com Auth0 e autenticação baseada em JWT;


• Conhecimento em arquitetura limpa ou hexagonal;


• Experiência com processamento de dados industriais ou de sensores;


• Conhecimento em transformações aplicadas a dados baseados em tempo ou sequenciais;

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;


• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;


• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;


• Tenha habilidades de resolução de problemas;


• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;


• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos