Vou escrever validação de dados em Python e verificações de qualidade para sua pipeline de ETL

Algumas informações foram traduzidas automaticamente.

Taiwan

Eu falo Chinês, Inglês

Clonagem de Voz em Mandarim, Automação e Pipelines de Dados

Engenheiro de software e construtor de pipelines de dados de Taiwan. Gerencio um estúdio de IA solo (SonarCue) especializado em clonagem de voz com saída natural em mandarim/chinês, além de automação ...
Sobre este Serviço

Pare erros silenciosos de dados: verificações automatizadas em Python + pytest que detectam as falhas que seus logs chamam de "sucesso".


As pipelines raramente travam, elas retornam dados errados silenciosamente, como uma API que devolve uma lista vazia enquanto o log do trabalho indica sucesso. Eu crio as verificações que identificam esses padrões.


O QUE VOCÊ RECEBE

- Um relatório de descobertas sobre problemas no escopo, com evidências e passos para reproduzir

- Verificações personalizadas em Python (Pandas + pytest), código fonte completo, para você guardar

- Premium: um fluxo de trabalho GitHub Actions para um repositório, além de um runbook de falhas


COVERAGE DAS VERIFICAÇÕES: frescor, completude, drift de esquema, consistência entre fontes, precisão do estado de falha.


ESCOPO

- 1 fonte de dados = 1 arquivo CSV/JSON, 1 tabela ou view, ou 1 endpoint de API com um esquema. Verifique se os contadores são totais por pedido.

- Revisões: uma rodada nos dados originalmente acordados. Novas fontes ou regras: uma Oferta Personalizada.


Baseado em 32 falhas reais documentadas de casos de uso de meus próprios sistemas de dados no GitHub; um Relatório de Descobertas de Amostra está na galeria.


NÃO HÁ chamadas, tudo por escrito no Fiverr. Sem credenciais de banco de dados para Basic/Standard: envie uma amostra de dados ou uma URL de endpoint público.


Um serviço de engenharia de software. Não aconselho sobre o que seus dados significam para seu negócio.

Idioma:

Chinês (simplificado)

Inglês

Experiência técnica:

Outros

Especialidade:

Pipelines de dados

Governança de dados

Setor:

Data analytics

Serviços financeiros