Vou construir pipelines de ETL e dados do Azure Data Factory
Engenheiro de Dados do Azure
Sobre este Serviço
Você está procurando ajuda para construir, consertar ou otimizar um pipeline do Azure Data Factory?
Eu ofereço soluções de Engenharia de Dados no Azure para ingestão, transformação e processamento de dados usando Azure Data Factory, Azure Data Lake Storage, Azure Databricks, PySpark, SQL e Delta Lake.
Os serviços incluem:
- Desenvolvimento de pipeline no Azure Data Factory
- Ingestão de SQL Server/CSV/API para Azure
- Integração com ADLS Gen2
- Carga completa e incremental de dados
- Ingestão baseada em watermark
- Transformações com Azure Databricks e PySpark
- Implementação de Delta Lake MERGE/upsert
- Depuração de pipeline e tratamento de erros
- Pipeline parametrizado e baseado em metadados
- Otimização de performance
Meu foco é criar pipelines de dados confiáveis e fáceis de manter, de acordo com suas necessidades.
Por favor, envie uma mensagem antes de fazer o pedido se você tiver uma necessidade complexa ou personalizada de Engenharia de Dados no Azure.
Meu portfólio
Perguntas frequentes
Tradução automática
Você consegue consertar um pipeline ADF existente?
Sim. Posso solucionar falhas no pipeline, problemas de configuração, problemas de carga incremental e questões de movimentação de dados.
Você consegue implementar carga incremental?
Sim. Posso implementar ingestão incremental baseada em watermark usando ADF e SQL.
Você trabalha com Azure Databricks?
Sim. Posso implementar transformações com PySpark, tabelas Delta e processamento MERGE/upsert.
Você consegue construir um pipeline de dados Azure de ponta a ponta?
Sim. Dependendo das suas necessidades, posso trabalhar com ADF, ADLS Gen2, Azure Databricks, SQL e Delta Lake.

