Vou construir um bot de web scraping em python para sites em javascript e dashboards de login
Sobre este Serviço
A maioria dos gigs de scraping usam requests e BeautifulSoup. Isso funciona em HTML simples e te entrega um arquivo VAZIO no momento em que um site renderiza com JavaScript, faz paginação por scroll infinito ou fica atrás de login.
Eu uso um navegador real, assim consigo o que você realmente vê na tela.
O QUE EU FAÇO QUE SCRAPERS BARATOS NÃO CONSEGUEM
Páginas em JavaScript / React / Vue que carregam dados após o HTML
Scroll infinito e botões de carregar mais
Paginamento profundo e fluxos de múltiplas etapas
Dashboards que você tem conta, mas que não têm botão de exportar nem API
VOCÊ RECEBE
Seus dados em CSV, Excel e JSON
O script Python comentado, para você rodar de novo
Uma breve nota de configuração. Sem caixa preta, sem lock-in
SUA SENHA NUNCA SAI DA SUA MÁQUINA
Para alvos protegidos por login, entrego um script que você roda localmente com suas próprias credenciais. Nunca peço sua senha.
O QUE NÃO FAREI
Não resolvo CAPTCHA. Não coletei emails ou telefones pessoais. Não LinkedIn, Facebook ou Instagram. Dados públicos, ou que você possui ou tem conta. Se seu alvo for problemático, aviso antes de você fazer o pedido, não depois.
Me envie a URL e os campos que quer, e te digo na hora se dá pra fazer.
Tecnologia:
Python
•
Planilhas Google
•
Excel
•
dramaturgo
•
Pandas
Técnica:
Automatizado
Perguntas frequentes
Tradução automática
Meu último scraper veio com arquivo vazio. Você consegue arrumar isso?
Normalmente sim. Um resultado vazio geralmente significa que a ferramenta leu o HTML antes do JavaScript preencher o conteúdo. Eu uso um navegador real e espero os dados renderizarem, assim vejo exatamente o que você vê na tela. Me envie a URL e eu verifico antes de você fazer o pedido.
Eu recebo o código ou só os dados?
Ambos. Você recebe os dados em CSV, Excel e JSON, além do script Python comentado que gerou, com uma breve nota de configuração. A maioria dos vendedores entrega só uma planilha, então você precisa pagar de novo toda vez que quiser dados fresquinhos. Comigo, não precisa.
Você consegue fazer scraping de um site que preciso logar?
Sim, nas versões Standard e Premium, para uma conta que você possui ou tem autorização para usar. Nunca peço sua senha. Eu construo o script para o fluxo de login e entrego, aí você roda na sua máquina com suas credenciais. Elas nunca saem do seu computador.
E se o site mudar e o scraper parar de funcionar?
Standard inclui 7 dias de correções, Premium 14. Sites mudam e nenhum scraper é permanente, então prefiro avisar isso antes. Depois do período, posso cotar uma pequena reparação, ou você mesmo pode ajustar o script, já que o código é seu.

