Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou ser seu engenheiro de dados GCP para Python BigQuery e ETL
Engenheiro de Dados Sênior
Eu crio pipelines de dados confiáveis, integrações de API, automação na nuvem e soluções de análise usando Python, SQL, GCP e AWS. Minha experiência inclui BigQuery, Dataflow, Apache Beam, Airflow, Fa...
Sobre este Serviço
Eu construo pipelines de dados confiáveis no GCP usando Python, BigQuery e Dataflow.
Se você precisa mover dados de APIs, CSV, JSON ou outras fontes para o Google Cloud, posso ajudar a projetar e criar um fluxo ETL limpo, fácil de manter e escalar.
Posso ajudar com:
- Pipelines ETL baseados em Python
- Carregamento e transformação de dados no BigQuery
- GCP Dataflow e Apache Beam
- Ingestão de dados via REST API
- Processamento de CSV e JSON
- Verificação de qualidade dos dados
- Tratamento de erros e logs
- Orquestração básica com Airflow ou Cloud Composer
- Tabelas e views no BigQuery
- Soluções de troubleshooting e melhorias nos pipelines
Meu foco é criar soluções práticas, fáceis de manter, com estrutura clara, validação adequada e documentação.
Tenho experiência profissional com Python, SQL, BigQuery, Dataflow, Apache Beam, Airflow e plataformas de dados na nuvem.
Por favor, envie uma mensagem antes de fazer o pedido se seu projeto envolver múltiplas fontes de dados, APIs complexas, pipelines de streaming ou requisitos personalizados no GCP, para que eu possa confirmar o escopo primeiro.
Destination Platform:
Google BigQuery
•
Google Cloud Storage
Ferramentas e plataformas:
Google Cloud Dataflow
•
Outros
Meu portfólio
Perguntas frequentes
Tradução automática
Quais tipos de fontes de dados você suporta?
Posso trabalhar com REST APIs, CSV, JSON, Google Cloud Storage, bancos de dados e outras fontes de dados estruturados, dependendo das suas necessidades.
Você consegue carregar dados no BigQuery?
Sim. Posso criar pipelines que carregam e transformam dados em tabelas e visualizações do BigQuery.
Você suporta Python e Dataflow?
Sim. Posso montar workflows ETL em Python e pipelines Apache Beam/Dataflow para processamento de dados escalável.
Você pode automatizar o pipeline?
Sim. Posso adicionar agendamento e orquestração usando Airflow ou Cloud Composer, quando necessário.
Como posso garantir uma migração de dados bem-sucedida?
Eu uso validação, verificações de qualidade de dados, revisão de schema, logs e testes para ajudar a garantir que os dados sejam transferidos de forma precisa e confiável.
O que você precisa de mim antes de começar?
Por favor, forneça detalhes da fonte de dados, dados de exemplo ou documentação da API, destino final, transformações necessárias e qualquer acesso ao GCP que o projeto exija.
Você fornece verificações de qualidade de dados?
Sim. Posso incluir validações, verificações de null, verificações de duplicidade, validações de schema e outras regras de qualidade, conforme o projeto exigir.
Você consegue trabalhar com fontes de dados baseadas em API?
Sim. Posso integrar REST APIs, lidar com autenticação, paginação, retries e processar respostas de API antes de carregar os dados.
