Vou desenvolver um web scraper

A pergunta Por que eu precisaria de um web scraper? é uma pergunta cuja resposta completa é uma pergunta: Você quer dados de outro site para suas operações?

Vamos entrar nos detalhes mais específicos que raramente são ditos. Eu vou desenvolver um web scraper em NODEJS ou PHP, dependendo das funcionalidades/necessidades do site a ser raspado.

NodeJS é considerado para sites cujo conteúdo é gerado com javascript. Dentro disso:

• A biblioteca puppeteer será usada, ela foi desenvolvida pelo Chrome, portanto é altamente confiável.
• Sites que requerem login e pressionamento de teclas podem ser raspados

OBSERVAÇÃO: VPS É NECESSÁRIO PARA NODE

PHP é a primeira opção para qualquer projeto de scraping, mas também serve como fallback caso o node js falhe. Para isso:

• Uma variedade de bibliotecas disponíveis
• Sites com conteúdo gerado pelo backend são os mais considerados

VANTAGENS:

1. Configuração no meu servidor antes do pedido.
2. Estarei em comunicação constante.
3. Dados retornados em forma de API JSON ou interface gráfica.
4. Se a API for configurada, o acesso será restrito

Entre em contato comigo antes de fazer o pedido. Estou ansioso por isso.