Vou fazer limpeza de dados, deduplicação e formatação em arquivos de dados bagunçados
Engenheiro de Dados Python: Web Scraping, pipelines ETL e enriquecimento de dados
Nível 1
Atendeu a determinados critérios de desempenho e demonstra forte potencial no marketplace.
Sobre este Serviço
O arquivo tem 40.000 linhas, três pessoas editaram ele, e a mesma empresa aparece como Acme, ACME Ltd e Acme Limited. Corrigir isso manualmente leva uma semana e pode gerar novos erros no caminho. Limpeza de dados feita em código leva uma tarde e pode ser rodada novamente no próximo mês.
O que eu conserto
- Duplicatas, incluindo quase-duplicatas que uma fórmula de planilha nunca vai pegar
- Datas, nomes, endereços, moedas e formatação inconsistentes
- Colunas mescladas ou divididas, e arquivos que precisam ser reformatados antes de serem utilizáveis
- Codificação, delimitadores e linhas que quebram na importação
O que você recebe de volta
- Um arquivo limpo: CSV, Excel, JSON ou uma planilha do Google
- Um changelog indicando o que foi alterado, mesclado ou removido, com a contagem de linhas
- O script de limpeza, se você quiser rodar sozinho na próxima vez
O maior trabalho que já fiz processou mais de 100 milhões de arquivos JSON em CSV pronto para análise.
Excel acaba antes da maioria desses trabalhos. Qualquer coisa acima de cerca de 50.000 linhas, ou que precise de fuzzy matching, eu faço em Python e Pandas. Envie o arquivo e me diga como fica o resultado final. Eu confirmarei o escopo e farei a cotação antes de você fazer o pedido.
Meu portfólio
Perguntas frequentes
Tradução automática
Você consegue juntar vários arquivos em um só?
Sim, e essa é a maior parte do trabalho na maioria dos pedidos. Nomes de colunas diferentes, formatos de data diferentes, linhas sobrepostas e um arquivo com uma coluna extra que ninguém documentou. Eu mapeio tudo para um único esquema e te digo de onde vieram as linhas.
Meu arquivo tem 500.000 linhas. Isso é um problema?
Não. Acima de cerca de 50.000 linhas, o trabalho sai de uma planilha e vai para Python e Pandas, que são mais rápidos e repetíveis, ao contrário de mais lentos. Meio milhão de linhas é um trabalho comum. Envie uma amostra e eu confirmarei o nível antes de você fazer o pedido.
O que conta como uma duplicata?
Você me diz, e essa é a parte que vale a pena combinar antes de eu começar. Correspondências exatas são fáceis. O trabalho útil é a correspondência fuzzy: Acme Ltd contra ACME Limited, o mesmo endereço escrito de quatro formas diferentes, dois registros que diferem apenas em espaços em branco. Eu te mostro as correspondências antes de fazer a mesclagem.
Você vai me dizer o que mudou?
Sim, todo serviço vem com um changelog: linhas inseridas, linhas removidas, o que foi mesclado, o que foi descartado e por quê, e quais campos foram padronizados. Você não precisa confiar em um arquivo limpo. Deve poder conferir.
Vou receber o script de limpeza?
Incluído no Standard e Premium, em Python, comentado, para que você possa rodar na exportação do próximo mês sem fazer outro pedido. O básico entrega apenas o arquivo limpo, que é a melhor escolha se isso for realmente uma tarefa única.
Você consegue limpar dados raspados com codificação quebrada?
Sim, e essa é uma das mais comuns. Mojibake por codificação errada, entidades HTML deixadas nos campos de texto, espaços em branco e quebras de linha fora do lugar, números armazenados como texto com símbolos de moeda anexados. Envie uma amostra e eu te digo o que é possível recuperar.
Você consegue analisar os dados além de limpá-los?
Tabelas resumo, pivôs e gráficos estão incluídos no Standard e Premium, e são úteis para verificar se a limpeza está correta. Se precisar de trabalho estatístico real ou modelagem, isso é outro serviço e eu preferiria indicar outro lugar do que fazer de forma adequada.
Isso pode rodar automaticamente todo mês?
Sim, como uma pipeline agendada, não um pedido repetido: o arquivo chega, o script roda, a versão limpa aparece onde você precisar. Essa é minha rotina de pipeline de dados, não essa. Me envie uma mensagem e eu te mando o link, ao invés de cobrar doze vezes.
Meus dados têm informações pessoais. Isso é um problema?
Me avise antes de enviar. Posso trabalhar com eles, e deletarei os arquivos fonte após a entrega, se pedir. Prefiro saber de antemão do que encontrar nomes e endereços em um arquivo que eu não esperava. Dados pseudonimizados ou amostrados estão OK para escopo.
Como sei qual pacote preciso?
Envie o arquivo primeiro, ou uma amostra dele. Alguns trabalhos parecem simples e precisam de fuzzy matching entre três fontes; outros parecem assustadores e são apenas uma busca e substituição. Eu te digo qual nível é, ou faço uma cotação personalizada, antes de você gastar qualquer coisa.
93 avaliações deste Serviço
| (83) | ||
| (8) | ||
| (0) | ||
| (1) | ||
| (1) |
Classificação detalhada
- Nível de comunicação do freelancer
- Qualidade da entrega
- Valor da entrega
Ordenar por
J jcummings72

Estados Unidos
I had 74,000 duplicate contacts and he was able to scrub the file and condense to no duplicates with all of the information. I’ve been trying to resolve this for years. He was able to turn it around within 24 hours. Thanks again!
US$ 50-US$ 100
$
4 dias
Tempo
Útil?S 
soweilam01

Emirados Árabes Unidos
Colaboração contínuaHighly recommend this seller for any project involving word and or excel.
US$ 50
$
1 dia
Tempo
Útil?S 
soweilam01

Emirados Árabes Unidos
Colaboração contínuaVery detailed oriented and thorough seller. Happy reterning customer.
US$ 50
$
4 dias
Tempo
Útil?J 
johncharlin

Índia
very good job done
US$ 50
$
1 dia
Tempo
Útil?A aclaudiof

Porto Rico
Job was done close to expectations, but not complete. Unfortunately it was delivered too late, and I couldn't meet my client due date. Supplier suggested a 50% discount, that ant the end was not given, and never delivered on time, with lack of response due to a private family event.
US$ 100-US$ 200
$
2 semanas
Tempo
Útil?
93 avaliações deste Serviço
| (83) | ||
| (8) | ||
| (0) | ||
| (1) | ||
| (1) |
Classificação detalhada
- Nível de comunicação do freelancer
- Qualidade da entrega
- Valor da entrega
Ordenar por
J jcummings72

Estados Unidos
I had 74,000 duplicate contacts and he was able to scrub the file and condense to no duplicates with all of the information. I’ve been trying to resolve this for years. He was able to turn it around within 24 hours. Thanks again!
US$ 50-US$ 100
$
4 dias
Tempo
Útil?S 
soweilam01

Emirados Árabes Unidos
Colaboração contínuaHighly recommend this seller for any project involving word and or excel.
US$ 50
$
1 dia
Tempo
Útil?S 
soweilam01

Emirados Árabes Unidos
Colaboração contínuaVery detailed oriented and thorough seller. Happy reterning customer.
US$ 50
$
4 dias
Tempo
Útil?J 
johncharlin

Índia
very good job done
US$ 50
$
1 dia
Tempo
Útil?A aclaudiof

Porto Rico
Job was done close to expectations, but not complete. Unfortunately it was delivered too late, and I couldn't meet my client due date. Supplier suggested a 50% discount, that ant the end was not given, and never delivered on time, with lack of response due to a private family event.
US$ 100-US$ 200
$
2 semanas
Tempo
Útil?

