Vou construir uma pipeline de dados em python com testes e agendamento

Seus dados chegam em arquivos, APIs e exportações que não se encaixam entre si, e alguém fica juntando tudo manualmente todo mês.

Eu construo isso como uma pipeline: um trabalho repetível que ingere suas fontes, normaliza elas para um esquema único e gera o resultado que você realmente precisa - na frequência que desejar, sem precisar ficar de olho o tempo todo.

Como eu trabalho:

Cada linha da fonte é considerada. Linhas que não conseguem ser mapeadas são MARCADAS, nunca simplesmente ignoradas. Você recebe uma reconciliação mostrando as contagens antes e depois.

Casos de falha são tratados primeiro: tentativas em erros transitórios e um alerta quando uma fonte fica indisponível, ao invés de um relatório vazio silencioso.

As credenciais ficam em segredos do ambiente que você controla, nunca no código.

Testes incluídos, assim uma mudança no formato do provedor é detectada antes de ser descoberta três semanas depois.

Eu construo essas pipelines com CI, verificação de tipos, implantação automatizada e execução agendada como padrão. Sua entrega inclui o código específico do projeto, seus testes e sua documentação, dentro do escopo do seu pacote.

Me envie uma mensagem com suas fontes e como o resultado precisa ficar, e eu te direi honestamente se isso é uma boa opção antes de você fazer o pedido.