Engenheiro de Dados / DevOps - Sênior

O QUE BUSCAMOS:

Sobre a posição

A posição é responsável pelo desenvolvimento e pela publicação dos processos de dados da empresa. O trabalho combina construção de código com a operação do fluxo que leva esse código até a produção, e exige perfil voltado à solução de problemas.

As atividades são registradas no DevOps, e o código é versionado e promovido por meio de pull request. Ele passa pelo ambiente de desenvolvimento, em seguida pela homologação e somente depois é publicado em produção. Os processos são executados em Apache Airflow 3, implantado em cluster gerenciado pelo Rancher, em infraestrutura on-premise, com consultas em SQL avançado e Oracle.

Principais atividades

• Desenvolver processos em Python com estrutura modular, separando funções, pacotes e configuração.

• Construir e manter DAGs no Apache Airflow 3, com dependências, novas tentativas, alertas e tratamento de falhas.

• Elaborar consultas em SQL avançado e Oracle utilizadas pelos processos.

• Versionar o código em Git, por meio de branch, pull request e revisão antes da promoção.

• Registrar as atividades no DevOps e promover as alterações entre os ambientes de desenvolvimento, homologação e produção por meio dos pipelines, a partir de pull requests aprovados.

• Operar a execução no Rancher, incluindo deploy, variáveis, segredos, consulta a logs e reinício controlado.

• Investigar falhas de execução a partir dos logs do Airflow, das consultas no Oracle e do status dos containers.

• Documentar a finalidade de cada processo, as origens e os destinos dos dados, a janela de execução e o responsável.

Requisitos

• Experiência com Python organizado em módulos, pacotes e funções reutilizáveis.

• Experiência prática com Apache Airflow na construção e na operação de DAGs. Airflow 3 é o ambiente utilizado; experiência em Airflow 2 será considerada.

• Domínio de SQL avançado, com experiência em consultas no Oracle.

• Uso de Git e de plataforma DevOps no fluxo de desenvolvimento, com registro de atividades, branch, pull request, revisão de código e pipelines.

• Experiência com ambientes separados de desenvolvimento, homologação e produção.

• Experiência com Rancher ou Kubernetes em ambiente on-premise.

• Perfil de solução de problemas, com capacidade de investigar a causa de falhas, analisar logs e corrigir sem alteração direta no ambiente de produção.

Diferenciais

• Atuação com Apache Airflow 3 em ambiente produtivo.

• Experiência com pipeline de integração e entrega contínua para DAGs e pacotes Python.

• Conhecimento de performance e plano de execução em Oracle.

• Experiência com imagens Docker no contexto do Rancher.

• Implementação de alertas de falha, atraso e variação de volume nos processos.

• Experiência no rastreamento de falhas em processos com código encapsulado, em que a execução percorre diversos módulos, pacotes e funções que se chamam entre si, e não um script único escrito de ponta a ponta.

• Experiência anterior em ambiente on-premise com controle formal de mudanças.

• Conhecimento de Linux e shell script para a operação dos servidores e containers.

Para saber mais sobre nós e o trabalho que realizamos, visite: www.qsoft.com.br

Condições da vaga

• Contratação em regime CLT.

• Promoção de código obrigatoriamente pelos ambientes de desenvolvimento, homologação e produção.

O QUE OFERECEMOS?

Benefícios: Plano de Saúde Sem Coparticipação, Plano Odontológico, Seguro de Vida, Day Off no Aniversário, Total Pass, C4life, VR, Auxílio Home Office Flash e Plataforma Alura 50% Off.

QSOFT uses JOIN to manage applications for this job. Your information will be submitted to the employer via JOIN, where you can always check your application status. By clicking "Apply now" you agree to JOIN's Terms & Conditions and Data Privacy Policy