Eu vou combinar, mesclar e eliminar duplicatas dos seus conjuntos de dados desorganizados
Candidato a PhD em Astrofísica, Consultoria Estatística
Sobre este Serviço
Duas listas com as mesmas pessoas, produtos ou lugares, sem ID compartilhado: nomes escritos de forma diferente, erros de digitação, campos ausentes. O VLOOKUP do Excel desiste imediatamente.
Eu faço ligação probabilística de registros: ao invés de "combinar / não combinar", cada par candidato recebe uma pontuação de quão provável é que seja a mesma entidade, com base em quanto a concordância em cada campo realmente vale. Concordar em um sobrenome raro é uma forte evidência; concordar em um comum é fraco. O método conhece a diferença.
Por que isso importa para você: você escolhe o limiar. Alta confiança para mesclagem automática, e uma lista separada de pares ambíguos para uma revisão humana, ao invés de mesclar silenciosamente dois clientes diferentes ou manter o mesmo duas vezes.
Eu uso isso em catálogos astronômicos, onde mesclar os objetos errados invalida a ciência. Seus dados merecem o mesmo cuidado.
O que entrego: seu conjunto de dados mesclado com uma pontuação de confiança em cada correspondência; uma lista separada de "precisa revisão" para casos ambíguos; um relatório de qualidade mostrando quantos foram combinados, quantos não foram, e por quê; e duplicatas encontradas dentro de cada arquivo, não só entre eles.
Envie uma amostra pequena primeiro, se quiser ver como funciona antes de fazer o pedido.
Tecnologia:
Python
Perguntas frequentes
Tradução automática
Quais formatos de arquivo você aceita?
CSV ou Excel. Se seus dados forem sensíveis, envie uma amostra com valores falsos ou anonimizados primeiro, o método funciona da mesma forma com dados reais depois.
Não sei quais campos usar para combinar, você pode ajudar?
Sim, me diga quais campos você tem (nome, endereço, telefone, etc.) e eu te direi qual combinação funciona melhor para seus dados.
Devo priorizar precisão ou recall?
A que for mais importante para você: nunca mesclar registros diferentes ou nunca perder uma correspondência verdadeira. Você não consegue ter os dois completamente, então me diga qual importa mais e eu ajustarei o limiar para isso.

