Uma Secretaria de Fazenda estadual implantou um pipeline de engenharia de dados para o cálculo do ITCMD. O fluxo recebe, a cada 15 minutos, arquivos CSV de cartórios (declarações de inventário), grava-os em uma zona de pouso (landing zone) no data lake e, em seguida, executa um job que aplica validações de esquema, deduplica registros e converte os dados para Parquet, particionado por ano de abertura do inventário. Uma auditoria posterior constatou que: (i) o mesmo CPF de falecido apareceu em dois inventários distintos com datas de abertura diferentes, ambos legítimos; (ii) o job de conversão, ao reprocessar um lote já processado após falha de rede, gerou duplicidade de linhas na tabela final; (iii) consultas analíticas que filtram por ano de abertura passaram a ler todo o histórico, pois o campo de partição foi gravado como string com espaços à esquerda; e (iv) o time de BI reclamou que a tabela final não preserva o histórico de alterações de valor de imóvel, apenas o último valor recebido.
Considerando os conceitos de engenharia de dados, modelagem dimensional e governança de dados, a análise correta das causas e das correções a serem implementadas é:
Selecione uma alternativa pra criar sua conta e salvar o progresso.