Oportunidades de Carreira: Engenheiro de Dados (Conexão Global de Dados)

Informações sobre a oportunidade

Área de trabalho: Conexão Global de Dados
Horário: 08h às 17h - 200h mensais
Modelo: Remoto

Sumário

Responsável por desenvolver a infraestrutura para armazenamento, processamento, ingestão e gestão de grandes conjuntos de dados, adotando soluções apropriadas para cada projeto, criando ferramentas para que seja possível construir modelos preditivos e resolver os problemas demandados pelas áreas cliente, garantindo que a infraestrutura seja íntegra e segura, em sintonia com à infraestrutura de TI da Instituição.

Responsabilidades

No segmento de Engenharia de Dados: 
•    Garantir que os dados estejam disponíveis para a análise de forma segura;
•    Construir enormes reservatórios para Big Data, desenvolver, testar e manter arquiteturas (tais como: bancos de dados e sistemas de processamento de dados em grande escala) e aplicar técnicas analíticas e extrair informação relevantes em sintonia com à infraestrutura de TI da Instituição;
No segmento de Infraestrutura de Big Data:
•    Montar infraestrutura para armazenamento e processamento de grandes conjuntos de dados, adotando soluções apropriadas para cada projeto e provisionar o Big Data de modo que os analistas e cientistas de dados possam aplicar seus modelos preditivos e resolver os problemas demandados pelas áreas cliente, em sintonia com à infraestrutura de TI da Instituição; 
No segmento de Arquitetura de Soluções de Big Data: 
•    Criar projetos para sistemas de gestão de dados, avaliar potenciais fontes de dados da Instituição (internas e externas), projetar planos para integrar, centralizar, proteger e manter os dados, permitindo que áreas clientes acessem informações críticas no lugar certo e na hora certa;
No segmento de Desenvolvimento de Big Data: 
•    Construir arquitetura de sistemas e de integração de dados;
•    Desenvolver e executar testes em ferramentas do ecossistema Hadoop como: HDFS, Hive, Yarn, Oozie e Kafka;
•    Desenvolver e realizar testes em plataformas de machine learning de código aberto como: H2O, Caffe, TensorFlow; 
•    Desenvolver ferramentas de integração, principalmente para data streaming;
•    Estabelecer a estrutura de big data, integrando algoritmos de machine learning com fontes de dados internas e externas de dados;
•    Desenvolver APIs remotas robustas para receber e distribuir dados de fontes internas e externas;
•    Trabalhar no desenvolvimento de sistemas distribuídos, validando e configurando através de testes bem definidos para escalabilidade e alta disponibilidade dos mesmos.

Requisitos

•    Graduação completa;
•    Data wrangling: limpeza e manipulação de dados, extrair informações de arquivos (tais como: CSV e XML), regular expressions, transformações matemáticas e domínio de queries em banco de dados relacionais; 
•    Conhecimentos de pacotes open source especificos para Data Engineering como: Spark, Pig, Mapreduce (desenvolvimento no ambiente Hadoop);
•    Programação em linguagens de developer (tais como: Java, Python);
•    Debugging, testing, controle de versão(Git) e model deploy;
•    Conhecimento de processos de dados e analytics;
•    Conhecimento de funcionamento e manutenção de banco de dados NoSQL. (Tais como: Cassandra, MongoDB, CouchDB, Documento de grafos, entre outros);
•    Configuração e manutenção do ecosistema Hadoop (tais como: HDFS, Spark, MapReduce, Pig, Hive, Impala, Flume, Sqoop, Zookeeper, Oozie, Hue, Kafka, Scala e Python;
•    Data transformation, design de processos ETL e conhecimento integração de dados em batch e tempo real. Conhecimento de plataformas de BI (tais como: Integration Services, entre outros);
•    Bom entendimento de Sistemas Operacionais (Unix/Linux), Redes e Administração de Sistemas;
•    Conhecimento de funcionamento e manutenção de banco de dados relacionais. MS SQL Server, PostgreSQL, RedShift;
•    Conhecimento e técnicas de levantamento de requisitos (tais como: caso de uso e método de síntese).

Desejável:

•    Nível de inglês avançado;
•    Conhecimento e experiencia com a linguagem R, Ruby, C#, Scala;
•    Governança e qualidade dos dados, tais como (conhecimento das métricas de qualidade, conceitos de Data Steward e Data Owner);
•    Conhecimento e arquitetura de sistemas, softwares e ferramentas (tais como: UML, ASTAH, EA e Design Pattern);
•    Conhecimento e experiência com ferramentas de IaC como Terraform ou CloudFormation;
•    Sistemas de busca (tais como: Lucene, Solr e Elastic Search) Soft Skils.

Etapas do Processo seletivo

Análise curricular
Entrevista com RH e área
Entrevista técnica se necessário
Entrevista com gestor