Eu vou construir pipelines de dados escaláveis e data warehousing no gcp bigquery
Engenheiro de Dados Certificado pelo Google Cloud e Especialista em Datawarehouse
Sobre este Serviço
Você quer aproveitar o poder do Google Cloud Platform para transformar, armazenar e analisar seus dados de forma eficiente? Eu sou especialista em projetar e construir soluções robustas de pipelines de dados e data warehousing no GCP.
Serviços que ofereço:
1) Design e desenvolvimento de pipelines de dados de ponta a ponta
2) Integração com várias fontes de dados (APIs, on-premises, armazenamento na nuvem, etc.)
3) Ingestão de dados usando Pub/Sub, Cloud Storage ou Cloud Functions
4) Implementação de ETL/ELT usando Dataflow ou Cloud Composer (Apache Airflow)
5) Data warehousing com BigQuery
6) Workflows agendados e baseados em eventos
7) Monitoramento e configuração de logs para pipelines
8) Procedures armazenadas, Views no BigQuery
9) Data Build Tool (DBT)
10) Integração com Youtube, Salesforce, Google Sheets e outras APIs via Cloud Run
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
Quais ferramentas ou serviços do GCP você usa para construir pipelines de dados?
Costumo usar BigQuery, Cloud Storage, Pub/Sub, Dataflow, Cloud Functions. Dependendo do seu caso de uso, recomendarei a combinação mais econômica e escalável.
Você consegue integrar dados de APIs de terceiros ou fontes on-premises?
Sim! Posso conectar pipelines do GCP a APIs REST, arquivos flat, bancos de dados SQL/NoSQL ou até fontes on-premises usando conectores seguros e serviços de transferência de dados.
Você suporta pipelines de dados em tempo real ou streaming?
Com certeza. Posso criar pipelines de streaming usando Pub/Sub e Dataflow para processamento de baixa latência e em tempo real, incluindo agregações por janela, filtragem e enriquecimento.
Que tipo de transformações você pode implementar?
Desde transformações simples de SQL no BigQuery até transformações complexas baseadas em eventos e streaming no Dataflow/Apache Beam, suportando uma gama completa de tarefas ETL/ELT.
Você pode otimizar meu pipeline ou data warehouse existente no GCP?
Sim. Ofereço ajuste de desempenho, otimização de custos de armazenamento e revisão do uso do GCP para reduzir latência e despesas.
