Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir um pipeline de dados ETL que limpa e enriquece ao longo do caminho
Engenheiro de Dados Python: Web Scraping, pipelines ETL e enriquecimento de dados
Eu pego dados de sites que foram feitos para manterem esses dados: renderização em JavaScript, logins, limites de taxa, proteção contra bots. Depois, crio o pipeline que garante que eles continuem che...
Nível 2
Atendeu a critérios de alto desempenho e tem um histórico comprovado de atendimento às expectativas dos clientes.
Sobre este Serviço
Os dados chegam de seis lugares diferentes e nenhum deles concorda. Uma API REST, duas planilhas que alguém mantém manualmente, uma saída de scraper e uma exportação de CRM com nomes de colunas diferentes de todos eles. Alguém passa uma manhã por semana juntando tudo.
O que a pipeline faz
- Extrai de sites, APIs REST, bancos de dados e arquivos
- Limpa, deduplica e reorganiza em um esquema que você define
- Enriquece os registros com outras fontes: dados de empresas, contatos, geodados
- Carrega no BigQuery, PostgreSQL, MySQL, Sheets ou seu CRM
- Executa de acordo com uma agenda, orquestrada no Airflow ou n8n
Feita para não falhar silenciosamente
- Tenta novamente e limita a taxa em cada fonte
- Valida dentro da pipeline, para que linhas ruins sejam capturadas antes de chegar
- Alertas quando uma execução falha ou um campo começa a chegar vazio
Criei a pipeline por trás de mais de 1 milhão de perfis de advogados nos EUA, rodando sem supervisão.
Você recebe a pipeline funcionando, o código fonte e os documentos de configuração escritos para quem herdar. Me diga suas fontes e seu destino, e eu farei o escopo e o orçamento antes de você fazer o pedido.
Meu portfólio
Perguntas frequentes
Tradução automática
Quais fontes você consegue conectar?
Sites e scrapers, APIs REST e GraphQL, PostgreSQL, MySQL, MongoDB, BigQuery, arquivos CSV e Excel, Google Sheets e a maioria dos CRMs através da API deles. Se uma fonte tem API ou página, geralmente pode ser uma fonte. Me envie a lista que eu confirmo antes de fazer o orçamento.
Onde ele pode carregar os dados?
BigQuery, PostgreSQL, MySQL, MongoDB, Google Sheets, S3 ou arquivos planos. Se o destino for um CRM ou um app ao invés de um warehouse, isso é uma integração e funciona do mesmo jeito. Me diga qual sistema lê os dados depois e eu escrevo no que ele espera.
Como ele é agendado e onde ele roda?
Airflow quando o fluxo tem dependências reais entre as etapas, n8n quando é mais simples e você quer ver, e um cron simples quando nenhum dos dois vale o overhead. Roda no seu servidor ou na sua conta na nuvem, então não depende de mim depois que passar a mão.
Você consegue integrar duas ferramentas que não conversam entre si?
Sim, e essa é uma versão comum desse trabalho. Puxa de uma API, transforma para o que a outra espera, envia, trata os erros e os limites de taxa, e agenda. HubSpot, Airtable, Salesforce, Sheets e a maioria das APIs REST. Zapier ou n8n onde encaixar, Python personalizado onde não der.
Com o que você consegue enriquecer registros?
Tamanho da empresa, setor, localização, site, tecnologia usada, emails e telefones comerciais, nomes de decisores e geocodificação. O que está disponível depende da fonte, então te digo quais campos provavelmente virão preenchidos antes de você pedir, não depois.
Vou receber o código?
Sim, tudo isso, documentado, e seu para alterar. A entrega inclui o repositório, um readme com instalação e configuração, a definição do agendamento e as configurações de conexão com suas credenciais, não as minhas.
O que acontece quando uma fonte muda e o pipeline quebra?
Ele te avisa, que é o objetivo. A validação roda dentro do pipeline, não depois, então uma fonte que começa a retornar campos vazios faz o job falhar ao invés de carregar silenciosamente nulls no seu warehouse. O pacote premium inclui monitoramento e configuração de alertas.
Você consegue monitorar e manter isso depois da entrega?
O pacote premium inclui monitoramento e alertas na entrega. Manutenção contínua, onde eu fico de olho nos alertas e conserto quebras, é um serviço mensal separado. A maioria dos clientes pega o código e roda por conta própria, por isso as docs são feitas para um estranho, não para você.
Quantos dados ele pode processar?
O maior trabalho que processei foi mais de 100 milhões de arquivos JSON transformados em CSV prontos para análise. O volume geralmente é uma questão de design, não de limite: agrupamento, cargas incrementais e onde a transformação acontece. Me diga a quantidade de linhas e a frequência e eu te digo o formato.
Isso parece caro. Tem uma versão menor?
Sim. Se você precisa de uma fonte puxada para um destino numa programação, o pacote Basic cobre e não precisa de mais nada. Se você quer os dados uma única vez ao invés de várias, meu serviço de scraping custa um décimo do preço e é a resposta certa. Eu digo isso ao invés de tentar te vender algo maior.
