Vou construir um scraper web em python para sites pesados em JavaScript e protegidos

Algumas informações foram traduzidas automaticamente.

Ucrânia

Eu falo Ucraniano, Inglês

Desenvolvedor Web Full Stack

Eu crio IA chatbots, automações e sites que atraem clientes potenciais e economizam horas de trabalho manual. Chatbots IA: assistentes para sites que respondem perguntas do seu FAQ e preços, agendam c...
Sobre este Serviço

Qualquer um pode escrever um script que funciona uma vez no laptop. Você está aqui porque o site reagiu.


Eu pego os scrapes que quebram: conteúdo que só existe após o JavaScript rodar, páginas atrás de um desafio, endpoints que começam a retornar 403 na metade da execução.


O QUE EU FAÇO


Sites renderizados em JavaScript usando um navegador headless de verdade quando o HTML sozinho não tem nada.

Sites que bloqueiam scripts ingênuos: delays adequados, headers rotativos, suporte a proxy integrado desde o começo.

Paginamento, filtros, árvores de categorias e páginas de detalhes para os campos que só existem lá.

Saída no formato que você usa: CSV, Excel, Google Sheets, JSON, PostgreSQL ou sua API.


SCRAPERS QUE SOBREVIVEM NA PRODUÇÃO


As falhas mais interessantes aparecem depois: memória que aumenta até o processo ser morto, browsers headless acumulando como zumbis, um site adiciona um desafio e sua verificação retorna um feliz 200 numa página morta. Eu construo contra isso: retries com backoff, reinício em caso de falha, rotação de logs, alertas no Telegram e verificações que confirmam o conteúdo, não apenas os códigos de status.


Eu não mexo com logins que você não possui ou conteúdo pago.

Tecnologia:

Python

•

Manipulador de marionetes

•

scrapy

•

selenium

Tipo de informação:

Pesquisa de concorrentes

•

Listagens

Técnica:

Automatizado

Meu portfólio