Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou fazer engenharia de dados e big data
Engenheiro de dados
Engenheiro de Sistemas de Computação com experiência em engenharia de dados e análise. Eu crio pipelines ETL/ELT usando Python, Pandas e SQL; faço processamento distribuído com PySpark; e trabalho com...
Sobre este Serviço
Vou criar um pipeline de ETL/ELT personalizado usando Python e SQL para extrair, transformar, validar e carregar seus dados em bancos de dados ou armazéns de dados na nuvem, como BigQuery. O pipeline incluirá verificações básicas de qualidade de dados, testes unitários e documentação clara.
Ferramentas e plataformas:
Google Cloud Dataflow
Perguntas frequentes
Tradução automática
Quais informações você precisa para iniciar o projeto?
Preciso de acesso à fonte de dados ou a um conjunto de dados de exemplo, o destino desejado e uma breve descrição das transformações ou requisitos de negócio esperados. Por favor, não compartilhe credenciais sensíveis diretamente no chat do Fiverr.
Quais fontes e destinos de dados você suporta?
Posso trabalhar com bancos de dados e serviços na nuvem como PostgreSQL, MySQL, BigQuery e Google Cloud Storage. Também posso trabalhar com arquivos estruturados como CSV e JSON.
Você fornece pipelines de ETL e ELT?
Sim. Posso criar fluxos de trabalho de ETL ou ELT, dependendo da sua arquitetura de dados, requisitos e plataforma de destino.
O pipeline inclui verificações de qualidade de dados?
Sim. O pacote Básico inclui validações básicas, como checagem de valores nulos, detecção de duplicatas, validação de tipos de dados e validação básica de esquema ou valores.
O pipeline incluirá testes e documentação?
Sim. O pipeline inclui testes unitários básicos e documentação explicando a configuração, dependências, processo de configuração e execução.
Você consegue conectar o pipeline ao meu banco de dados ou ambiente na nuvem existentes?
Sim, desde que as informações de acesso e conexão necessárias estejam disponíveis. A implementação exata depende da fonte, destino e requisitos do projeto.
