Vou construir um scraper web em python para sites pesados em JavaScript e protegidos
Desenvolvedor Web Full Stack
Sobre este Serviço
Qualquer um pode escrever um script que funciona uma vez no laptop. Você está aqui porque o site reagiu.
Eu pego os scrapes que quebram: conteúdo que só existe após o JavaScript rodar, páginas atrás de um desafio, endpoints que começam a retornar 403 na metade da execução.
O QUE EU FAÇO
Sites renderizados em JavaScript usando um navegador headless de verdade quando o HTML sozinho não tem nada.
Sites que bloqueiam scripts ingênuos: delays adequados, headers rotativos, suporte a proxy integrado desde o começo.
Paginamento, filtros, árvores de categorias e páginas de detalhes para os campos que só existem lá.
Saída no formato que você usa: CSV, Excel, Google Sheets, JSON, PostgreSQL ou sua API.
SCRAPERS QUE SOBREVIVEM NA PRODUÇÃO
As falhas mais interessantes aparecem depois: memória que aumenta até o processo ser morto, browsers headless acumulando como zumbis, um site adiciona um desafio e sua verificação retorna um feliz 200 numa página morta. Eu construo contra isso: retries com backoff, reinício em caso de falha, rotação de logs, alertas no Telegram e verificações que confirmam o conteúdo, não apenas os códigos de status.
Eu não mexo com logins que você não possui ou conteúdo pago.
Meu portfólio
Perguntas frequentes
Tradução automática
O site bloqueia bots. Ainda assim, dá pra fazer?
Muitas vezes sim, com delays adequados, headers rotativos, um navegador de verdade quando necessário e suporte a proxy embutido. Mas eu verifico o alvo antes de você pedir e te aviso se não for viável. Não vou aceitar o pagamento e depois descobrir que não dá pra fazer.
Vai continuar funcionando se o site mudar?
Scrapers quebram quando o markup do alvo muda; isso é verdade para qualquer scraper já criado. Eu mantenho os seletores em um só lugar para facilitar o conserto, e no plano Premium você recebe um alerta quando uma execução não retorna nada, ao invés de coletar linhas vazias silenciosamente.
Scraping é legal?
Dados públicos coletados de forma razoável geralmente funcionam, mas depende dos termos do site e da sua jurisdição, e eu sou desenvolvedor, não seu advogado. Não vou fazer scraping de logins que não são seus ou coletar dados pessoais contra os termos de uso de um site.
