Vou construir e otimizar pipelines de dados ETL na AWS ou Azure usando pyspark

Precisa de pipelines de dados confiáveis sem contratar um engenheiro em tempo integral?

Sou um Engenheiro de Dados com quase 5 anos de experiência na AWS e Azure, atualmente em uma fintech regulamentada. Certificado como Data Engineer na AWS - Nível Associate.

O que posso fazer por você:

• Construir pipelines ETL/ELT com PySpark, Python e SQL
• - AWS: Glue, Lambda, S3, Redshift, Athena
• - Azure: Data Factory, Synapse, Databricks, além de Snowflake
• - Migrar dados de sistemas legados ou arquivos para um data warehouse na nuvem
• - Acelerar consultas e pipelines lentos (entreguei ganhos de 30-40%)
• - Adicionar verificações de qualidade de dados para que dados ruins nunca cheguem aos seus relatórios
• - Orquestrar com Airflow ou ADF

Como trabalhamos: você compartilha acesso ou amostras de dados, eu envio um plano curto, construo e entrego o código funcionando mais a documentação.

Por favor, envie uma mensagem antes de fazer o pedido para que eu possa confirmar o escopo.