Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Eu vou desenvolver fluxos de trabalho de dados na nuvem com gcp bigquery airflow e dataflow
Estou trabalhando em um projeto na Google Cloud para a MINT Automation, onde um script em Python ingere dados de uma API de aplicação e armazena como CSV no Google Cloud Storage, acionado via Cloud Co...
Sobre este Serviço
Vou projetar e construir fluxos de trabalho de dados na nuvem usando Google Cloud Platform (GCP), BigQuery, Airflow e Dataflow.
Com mais de 4 anos de experiência como Engenheiro de Dados GCP, especializo-me em:
Construção de pipelines ETL/ELT para ingestão e transformação de dados
Desenvolvimento de data warehouses em BigQuery com particionamento e clustering
Automatização de fluxos de trabalho com Apache Airflow / Cloud Composer
Implementação de verificações de qualidade de dados e scripts de validação usando Python e SQL
Migração de dados de fontes como Salesforce, Oracle, Hive, MySQL para BigQuery
Se você precisa de um pipeline ETL simples ou de uma solução completa de engenharia de dados de ponta a ponta, posso entregar fluxos de trabalho escaláveis, otimizados e confiáveis, personalizados às suas necessidades de negócio.
Meu portfólio
Perguntas frequentes
Tradução automática
Q1: Que informações você precisa de mim para começar?
Vou precisar de acesso à sua fonte de dados (banco de dados, API ou arquivos), detalhes do destino (por exemplo, conjunto de dados BigQuery) e qualquer lógica de transformação/negócio específica que você queira aplicar.
Q2: Você consegue trabalhar com múltiplas fontes de dados?
Sim, posso integrar dados de várias fontes como Salesforce, Oracle, Hive, MySQL, APIs e Google Cloud Storage em BigQuery ou outros destinos.
Q3: Você também configura agendamento e automação?
Sim, uso Apache Airflow / Cloud Composer para agendar e automatizar fluxos de trabalho, garantindo que seus pipelines funcionem de forma confiável sem intervenção manual.
Q4: Você consegue validar e garantir a qualidade dos dados?
Com certeza. Incluo verificações de qualidade de dados, como validação de contagem de linhas, consistência de esquema e testes personalizados em Python/SQL para garantir uma ingestão de dados precisa.
Q5: E se eu precisar de mudanças futuras ou suporte após a entrega?
Ofereço revisões como parte de cada pacote, e também estou disponível para suporte de longo prazo através de projetos contínuos na Fiverr ou ofertas personalizadas.
