Vou criar pipelines de ETL no azure data factory com databricks e pyspark

Ofereço consultoria em Azure Data Engineering para pipelines de ETL/ELT, arquitetura de dados na nuvem, otimização de performance e planejamento de implementação. Minha expertise inclui: design de pipelines no Azure Data Factory, Azure Databricks e PySpark, ADLS Gen2, Azure SQL e Delta Lake, arquitetura Medallion, carregamento batch, incremental e CDC, ingestão de SQL, API, CSV e JSON, qualidade de dados e tratamento de erros, otimização de Spark e SQL, integração com Snowflake e Azure Synapse, otimização de performance e custos na nuvem. Com base no seu pacote, posso revisar seu ambiente de dados, identificar problemas de design ou performance, recomendar serviços Azure adequados, criar um diagrama de arquitetura e fornecer recomendações práticas para pipelines de ETL. Meu foco é em arquitetura escalável, movimentação confiável de dados, processamento eficiente, uso otimizado de clusters, comunicação clara e orientações técnicas acionáveis. Antes de fazer seu pedido, entre em contato e compartilhe sua fonte, destino, volume de dados, ambiente Azure, requisitos e resultado esperado para que eu possa recomendar o pacote mais adequado.