Uma instituição financeira está modernizando sua arquitetura de dados. Atualmente, possui um Data Warehouse tradicional alimentado por processos ETL noturnos, que extraem dados de sistemas legados, aplicam transformações complexas em um servidor intermediário e, só então, carregam os dados no warehouse. A equipe de engenharia de dados propôs uma migração para uma arquitetura baseada em ELT, utilizando um Data Lake moderno com capacidade de processamento massivo e um Data Warehouse em nuvem. Além disso, pretende-se implementar pipelines híbridos: alguns fluxos em batch para relatórios regulatórios e outros em streaming para detecção de fraudes em tempo real.
Considerando as boas práticas de engenharia de dados e as diferenças entre ETL e ELT, bem como as características de pipelines batch e streaming, analise as afirmativas a seguir:
- Na abordagem ELT, a transformação ocorre após o carregamento dos dados brutos no destino, aproveitando o poder de processamento do Data Warehouse em nuvem, o que pode reduzir a necessidade de um servidor intermediário dedicado.
- Em pipelines de streaming, o processamento é tipicamente orientado a eventos, com latência baixa, enquanto pipelines batch processam grandes volumes de dados em intervalos agendados, sendo mais adequados para cargas analíticas complexas que exigem consistência transacional.
- A migração para ELT implica que os dados devem ser obrigatoriamente transformados antes de serem armazenados no Data Lake, garantindo que apenas dados limpos e integrados sejam persistidos.
- Um esquema floco de neve (snowflake) é uma variação do modelo estrela em que as dimensões são normalizadas em múltiplas tabelas relacionadas, o que pode reduzir a redundância, mas aumenta a complexidade das consultas e o número de junções necessárias.
- Em um pipeline batch, a janela de processamento é geralmente definida por um intervalo de tempo ou volume de dados, e o processamento pode ser reiniciado a partir de pontos de verificação (checkpoints) em caso de falhas, enquanto em streaming, o processamento é contínuo e o conceito de checkpoint é substituído por mecanismos de tolerância a falhas baseados em replicação e reprocessamento de eventos.
Estão corretas apenas as afirmativas:
