Eu vou construir pipelines de dados apache beam usando google cloud dataflow
Engenheiro de Dados Sênior
Sobre este Serviço
Precisa de uma pipeline confiável de Apache Beam ou Google Cloud Dataflow?
Eu vou criar uma pipeline de dados em Python usando Apache Beam e Google Cloud Dataflow de acordo com suas necessidades.
O que posso ajudar:
Desenvolvimento de pipelines Apache Beam
Pipelines Google Cloud Dataflow
Processamento de dados em lote
Processamento de dados em tempo real/streaming
Integração com Google Cloud Storage
Integração com BigQuery
Transformação e validação de dados
Desenvolvimento de ETL em Python
Depuração e troubleshooting de pipelines
Testes unitários e documentação
Tenho experiência profissional desenvolvendo pipelines ETL escaláveis usando Python e Apache Beam na Google Cloud Platform, trabalhando com serviços como Dataflow, BigQuery, Pub/Sub e Cloud Storage. Também trabalhei com processamento de dados em lote e em tempo real, testes e implantação em produção.
Primeiro, vou entender seus requisitos de origem, destino e transformação e depois implementar uma solução limpa e fácil de manter.
Por favor, entre em contato comigo antes de fazer o pedido para que eu possa revisar seus requisitos e confirmar o escopo.
Destination Platform:
Google BigQuery
•
Google Cloud Storage
Ferramentas e plataformas:
Google Cloud Dataflow
•
Outros

