Eu vou construir pipelines de dados BigQuery com Airflow na Google Cloud

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Inglês, Urdu

3 pedidos finalizados

Engenheiro de Dados para BigQuery, Airflow e ferramentas IA

Sou engenheiro de dados que constrói pipelines de produção na Google Cloud. Hoje gero 12 DAGs no Airflow no Cloud Composer que captam dados diários de 9+ plataformas de marketing e CRM para o BigQuery...
Sobre este Serviço

Precisa de pipelines de dados confiáveis e automatizados na Google Cloud? Eu projeto e implemento pipelines de ETL/ELT de nível de produção que carregam seus dados no BigQuery conforme um cronograma, sem trabalho manual.


O que você recebe:

  • DAGs do Apache Airflow no Cloud Composer
  • Funções Cloud Python (Gen2) para extração via API
  • Aplicação estrita de schema do BigQuery e validação de dados
  • Credenciais armazenadas no Secret Manager
  • Tratamento de retries e logs de erro claros
  • CI/CD opcional que implanta apenas DAGs alterados
  • Documentação para seu time conseguir assumir


Por que comigo: Atualmente uso Airflow em produção com 12 DAGs consumindo de 9+ plataformas usando um padrão de pipeline reutilizável, então você terá uma estrutura comprovada, não uma experiência passageira.

Envie as suas fontes de dados e o destino antes de pedir e eu confirmo o escopo e o encaixe.

Destination Platform:

Google BigQuery

Ferramentas e plataformas:

Google Cloud Dataflow