Vou criar um spider reutilizável do scrapy para obter os dados que você precisa

Quase qualquer dado de site público pode ser coletado e usado, se necessário, mas esse processo fica muito mais difícil se os donos do site não oferecem algum tipo de API para obter dados limpos facilmente.

Problemas assim podem ser resolvidos usando web scraping, ou seja, escrevemos um código que pega os dados, limpa e pré-processa, e talvez envie para algum lugar, ou apenas armazena em um arquivo ou banco de dados.

Nos últimos anos, tive a oportunidade de trabalhar com muitos sites para propósitos semelhantes, construí dezenas de scrapy spiders, consertei alguns, e até integrei completamente com backends de sites populares como Django ou Flask, com a capacidade de obter dados em tempo quase real.

Se você tem um problema ou tarefa semelhante, considere me contatar, talvez possamos automatizar completamente a parte de web scraping e integrar ao seu sistema backend existente, ou criar um do zero, para facilitar seu trabalho, mais rápido e mais eficiente.