Uma equipe de auditoria fiscal da SEFAZ Nacional precisa monitorar, em tempo quase real, os preços de produtos em um grande marketplace. Para isso, desenvolveu um sistema que realiza requisições HTTP a endpoints não documentados, extrai os dados do HTML retornado e os armazena em um banco de dados relacional. Durante os testes, observou-se que, após certo número de requisições em curto intervalo, o servidor passou a responder com o código HTTP 429 e, posteriormente, com páginas de desafio JavaScript. Além disso, a estrutura do HTML sofria alterações frequentes, quebrando os extratores baseados em seletores CSS.
Considerando as boas práticas de coleta de dados e as técnicas de web scraping e consumo de APIs, a ação mais adequada para mitigar simultaneamente os problemas de bloqueio por excesso de requisições e de fragilidade dos extratores é:
Selecione uma alternativa pra criar sua conta e salvar o progresso.