Eu vou raspar qualquer site que você fornecer e fazer processamento de dados em Excel

Sou engenheiro de software por profissão, com mais de 8 anos de experiência em desenvolvimento de aplicativos web e há mais de 4 anos escrevendo crawlers para raspar sites. Criei todos os scrappers (crawlers) em PHP. Usei HTML DOM simples, PHP Dom Document, parsers DOM, xpath, etc., para fazer o parsing e obter dados HTML. O processamento de dados incluiu saídas em formato json, xml e planilhas Excel. Também utilizei bibliotecas PHP como curl, junto com headers e parâmetros, para obter o conteúdo das páginas. Usei algumas técnicas de otimização para minimizar chamadas a sites de terceiros e tornar a funcionalidade mais rápida.

Escrever scrappers é baseado na estrutura dos sites a serem crawleados. A estrutura varia de site para site. Vou revisar a estrutura do site.

Para maximizar a obtenção de dados, aplicarei XPATH, expressões regulares e técnicas de DOM para recuperar dados precisos e máximos. O script PHP será executado automaticamente pelo site. Este script será otimizado em termos de tempo e throughput.