Vou criar um web scraper em python e automação feitos para não serem bloqueados
Desenvolvedor de Segurança Cibernética
Sobre este Serviço
O site que você precisa não tem API, então você está copiando os dados manualmente. Eu crio scrapers em Python que puxam essas informações pra você e devolvem CSV ou JSON limpos, já filtrados e organizados do jeito que você pediu.
O básico é um scraper para um único site. Você pode adicionar uma etapa de processamento para deduplicar e formatar os dados, ou então ir para uma pipeline completa: ela roda sozinha em um cronograma e envia os resultados por email ou para um painel de controle. Cada scraper fica dentro dos limites de taxa do site, pra seu IP não ser bloqueado.
Um que eu criei pega as agências de locação recém-registradas na Companies House, monta uma linha de outreach personalizada pra cada uma e coloca na fila pra alguém revisar antes de enviar.
Sou engenheiro de cibersegurança, então faço esses scrapers aguentarem quando uma página muda às 3 da manhã: validação de entrada real, tratamento de erro adequado, nada de buracos que possam bloquear sua conta.
Sou novo como vendedor, mas esse é meu trabalho diário. Me envie o site e os campos exatos que você quer, e eu te digo qual nível se encaixa e se é possível fazer.
Tecnologia:
Python
•
scrapy
•
Beautiful Soup
Técnica:
Automatizado
Perguntas frequentes
Tradução automática
O web scraping é legal?
Raspar dados públicos geralmente está OK. Não vou criar nada que viole os termos de serviço de um site ou a lei.
Você consegue fazer scraping de sites que requerem login?
Às vezes, se não violar os termos de uso do site alvo. Me diga o site antes de pedir e eu confirmo.
Em que formato recebo os dados?
CSV, JSON ou uma planilha por padrão. Entrega em banco de dados ou dashboard está disponível nas opções Standard e Premium.
