Oportunidades de Carreira: Engenheiro de Dados

Informações sobre a área de trabalho

Modelo: Teletrabalho
Horário: 08h às 17h

Sumário

Responsável por desenvolver a infraestrutura para armazenamento, processamento, ingestão e gestão de grandes conjuntos de dados, adotando soluções apropriadas para cada projeto, criando ferramentas para que seja possível construir modelos preditivos e resolver os problemas demandados pelas áreas cliente, garantindo que a infraestrutura seja íntegra e segura, em sintonia com à infraestrutura de TI da Instituição.

Responsabilidades

No segmento de Engenharia de Dados:

• Garantir que os dados estejam disponíveis para a análise de forma segura;


• Construir enormes reservatórios para Big Data, desenvolver, testar e manter arquiteturas (tais como: bancos de dados e sistemas de processamento de dados em grande escala) e aplicar técnicas analíticas e extrair informação relevantes em sintonia com à infraestrutura de TI da Instituição;

No segmento de Infraestrutura de Big Data:

• Montar infraestrutura para armazenamento e processamento de grandes conjuntos de dados, adotando soluções apropriadas para cada projeto e provisionar o Big Data de modo que os analistas e cientistas de dados possam aplicar seus modelos preditivos e resolver os problemas demandados pelas áreas cliente, em sintonia com à infraestrutura de TI da Instituição;

No segmento de Arquitetura de Soluções de Big Data:

• Criar projetos para sistemas de gestão de dados, avaliar potenciais fontes de dados da Instituição (internas e externas), projetar planos para integrar, centralizar, proteger e manter os dados, permitindo que áreas clientes acessem informações críticas no lugar certo e na hora certa;

No segmento de Desenvolvimento de Big Data:

• Construir arquitetura de sistemas e de integração de dados;


• Desenvolver e executar testes em ferramentas do ecossistema Hadoop como: HDFS, Hive, Yarn, Oozie e Kafka;


• Desenvolver e realizar testes em plataformas de machine learning de código aberto como: H2O, Caffe, TensorFlow;


• Desenvolver ferramentas de integração, principalmente para data streaming;


• Estabelecer a estrutura de big data, integrando algoritmos de machine learning com fontes de dados internas e externas de dados;


• Desenvolver APIs remotas robustas para receber e distribuir dados de fontes internas e externas;


• Trabalhar no desenvolvimento de sistemas distribuídos, validando e configurando através de testes bem definidos para escalabilidade e alta disponibilidade dos mesmos.

Requisitos

• Graduação completa;


• Data wrangling: limpeza e manipulação de dados, extrair informações de arquivos (tais como: CSV e XML), regular expressions, transformações matemáticas e domínio de queries em banco de dados relacionais;


• Programação em linguagens de data engineering (tais como: Java, Python). Conhecimentos de pacotes open source especificos para Data Engineering como: Spark, Pig, Mapreduce (desenvolvimento no ambiente Hadoop);


• Programação em linguagens de developer (tais como: Java, Python);


• Outras ferramentas: Debugging, testing, controle de versão(Git) e model deploy;


• Conhecimento de processos de dados e analytics;


• Conhecimento de funcionamento e manutenção de banco de dados NoSQL. 


• Configuração e manutenção do ecosistema Hadoop (tais como: HDFS, Spark, MapReduce, Pig, Hive, Impala, Flume, Sqoop, Zookeeper, Oozie, Hue, Kafka, Scala e Python;


• Data transformation, design de processos ETL e conhecimento integração de dados em batch e tempo real.


• Conhecimento de plataformas de BI (tais como: Integration Services, entre outros);


• Bom entendimento de Sistemas Operacionais (Unix/Linux), Redes e Administração de Sistemas;


• Conhecimento de funcionamento e manutenção de banco de dados relacionais. MS SQL Server, PostgreSQL, RedShift;


• Conhecimento e técnicas de levantamento de requisitos (tais como: caso de uso e método de síntese)

Desejável:

• Nível de inglês avançado;


• Conhecimento e experiencia com a linguagem R, Ruby, C#, Scala;


• Governança e qualidade dos dados, tais como (conhecimento das métricas de qualidade, conceitos de Data Steward e Data Owner);


• Conhecimento e arquitetura de sistemas, softwares e ferramentas (tais como: UML, ASTAH, EA e Design Pattern);


• Conhecimento e experiência com ferramentas de IaC como Terraform ou CloudFormation;


• Sistemas de busca (tais como: Lucene, Solr e Elastic Search).