Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Eu vou coletar dados de qualquer API ou site em um banco de dados limpo
pipelines de dados em Python, web scraping e automação de Excel
Construo pipelines em Python que coletam dados e eliminam trabalho manual: coletores de API e web que continuam rodando (tentativas, retomar após falha, verificações diárias de integridade), dados bag...
Sobre este Serviço
Eu escrevo Python que busca seus dados e continua buscando - de uma API REST, um endpoint público ou uma página que não tem API nenhuma.
O que você recebe:
- Um script que você possui e pode rodar sozinho, não uma caixa preta na minha máquina
- - Saída onde você precisar: CSV, Excel, SQLite ou seu próprio banco de dados
- - Tentativas, retomar após uma falha e uma verificação diária de integridade que te avisa quando uma fonte fica silenciosa
- - Uma nota rápida sobre o que os dados cobrem e onde eles são pouco confiáveis, que é a parte que a maioria dos vendedores ignora
Já rodei coletores 24/7 contra APIs de exchange de quatro esportes e contra endpoints de exchanges de criptomoedas, além de processar conjuntos de dados com milhões de registros. Meu código e relatórios estão públicos no GitHub.
Antes de escrever qualquer coisa, confirmo o escopo por escrito: fontes, campos, formato, cronograma. Se um site bloqueia acesso automatizado ou os dados ficam atrás de login, te aviso antes de você pagar, não depois.
Tecnologia:
Python
•
Excel
•
Pandas
Tipo de informação:
Moeda e ações
•
Comparação de preços
•
Sites
Técnica:
Automatizado
Perguntas frequentes
Tradução automática
O script vai continuar funcionando se o site mudar?
Mudanças pequenas de layout que eu conserto dentro da janela de revisão. Para estabilidade a longo prazo, recomendo uma fonte de API onde ela exista, e te aviso antes de começarmos se um site parecer frágil.
Você faz scraping de sites que não permitem?
Não. Eu verifico os termos de uso e o robots.txt primeiro e te aviso se uma fonte estiver proibida. Prefiro perder o pedido do que te entregar um script que bloqueie sua conta.
Eu recebo o código-fonte?
Sim, em todos os pacotes. Você recebe um script Python executável e uma nota rápida de configuração, para que possa rodar, modificar ou passar para seu próprio desenvolvedor depois.
