Vou construir um pipeline de ETL escalável usando apache airflow, bigquery ou snowflake

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Urdu, Inglês, Alemão

IA e MLOps, tarefas de NLP com implantação na nuvem de ponta a ponta

Oi, eu sou o Hamza — um especialista em MLOps e Engenharia de Dados que cria sistemas de IA que realmente funcionam em produção. Desde pipelines de ML em Docker até chatbots com RAG e fluxos de ETL na...
Sobre este Serviço

Precisa de dados limpos e automatizados fluindo para seu armazém? Eu vou projetar e montar um pipeline de ETL robusto, personalizado para suas fontes de dados e plataforma na nuvem.


O que eu entrego:

Design e orquestração de DAGs no Apache Airflow

Arquitetura em estrela / Medallion (Bronze/Silver/Gold)

Ingestão de APIs, bancos de dados, S3 ou arquivos planos

BigQuery ou Snowflake como o armazém de dados

Particionamento e clustering para consultas mais econômicas

Documentação completa e entrega


Criei um pipeline que lida com mais de 2.400 transações por dia, com BigQuery reduzindo os custos de consulta em 40% usando estratégias inteligentes de particionamento. Vencedor do Hackfest 2025 por um pipeline de dados completo na AWS S3, Airflow, Snowflake e Power BI.

Destination Platform:

Snowflake

Amazon Redshift

Ferramentas e plataformas:

AWS Glue DataBrew

Meu portfólio