Desenhar o modelo de dados central (perfil agregado do produtor por CPF ou Criação de chave unica para correlacionamento das bases)
Definir a estratégia de versionamento de dados (como manter histórico e reprodutibilidade das informações ao longo do tempo)
Decidir entre lakehouse e data warehouse (DW) conforme a volumetria se revelar
Ser accountable por:
Validação das bases
Desenho dos pipelines
Definir:
Particionamento (como os dados são organizados fisicamente para performance, ex.: por data, região, CPF)
Estratégias de cache (redução de latência de consulta)
Cruzamento CPF â CAR
CPF: identificador do produtor rural (pessoa fÃsica)
CAR (Cadastro Ambiental Rural): registro público obrigatório de imóveis rurais no Brasil, com dados geográficos e ambientaisCruzamento CPF â CAR: associação entre o produtor (CPF) e os imóveis rurais (CAR), necessária porque:
o crédito é concedido à pessoa (CPF)
mas várias informações relevantes (ambientais, produtivas, risco) estão ligadas ao imóvel
Tratamento das bases geométricas
Dados espaciais (polÃgonos de imóveis)
âCasam por imóvel, não por CPFâ â join é geográfico, não apenas por identificador