Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou construir pipelines de ETL escaláveis usando spark, databricks e delta lake
SDE1
Sou um desenvolvedor Python habilidoso com forte foco em resolução de problemas, automação e construção de pipelines de dados robustos para análise de big data. Minha especialidade é transformar dados...
Sobre este Serviço
Engenharia de Dados Profissional | ETL | Databricks | Spark | Especialista em Data Lake
Você está procurando uma pipeline de dados escalável e pronta para produção para o seu negócio?
Sou um Engenheiro de Dados Profissional com experiência real na indústria construindo soluções de Big Data usando:
- Apache Spark / PySpark
- Databricks (Delta Lake, Medallion Architecture)
- Azure Data Factory
- Ecossistema Hadoop
- SQL & Python
- Integrações de API (SOAP/REST)
- MongoDB, Oracle, MySQL, PostgreSQL, etc.
O que posso ajudar você:
- Desenvolvimento de pipelines ETL / ELT
- Processamento de dados em lote e em tempo real
- Integrações de Data Lake com bancos de dados
- Design de arquitetura Delta Lake
- Limpeza e transformação de dados
- Otimização de desempenho
- Otimização de jobs Spark
- Automação & agendamento
- Ingestão de banco de dados via API
- Engenharia de dados na nuvem (Azure/Databricks)
Experiência real inclui:
- Integração MongoDB Delta Lake
- Ingestão de API SOAP Oracle Fusion para Delta Lake
- Pipelines diários de nível empresarial
- Processamento otimizado de Big Data para milhões de registros
Por que me escolher?
⭐ Experiência na indústria
⭐ Código limpo e otimizado
⭐ Arquitetura escalável
⭐ Entrega pontual
⭐ Satisfação total do cliente
Perguntas frequentes
Tradução automática
1. Quais serviços você oferece neste serviço?
Ofereço serviços profissionais de Engenharia de Dados e ETL/ELT incluindo: Desenvolvimento PySpark / Spark Workflows no Databricks Pipelines no Azure Data Factory Integrações de banco de dados e API Configuração de Data Lake / Delta Lake Limpeza e transformação de dados Otimização e automação de pipelines
2. Com quais tecnologias e ferramentas você trabalha?
Especializo-me em: Apache Spark / PySpark Databricks (Delta Lake, Notebooks, Jobs) Azure Data Factory Ecossistema Hadoop Python & SQL APIs REST/SOAP MongoDB, Oracle, MySQL, PostgreSQL, SQL Server Armazenamento na nuvem (ADLS, S3, Blob)
3. Você consegue integrar dados de várias fontes?
Sim. Posso integrar dados de: Bancos de dados APIs Arquivos CSV/Excel/JSON Armazenamento na nuvem Fontes de streaming
4. Você constrói pipelines de ETL e ELT?
Sim. Suporto: ETL (Transformar antes de carregar) ELT (Carregar primeiro, transformar no Databricks/Spark) Dependendo do seu caso de uso, recomendarei a melhor arquitetura para desempenho e custo.
5. Você consegue otimizar jobs lentos no Spark ou Databricks?
Com certeza. Ajudo com: Ajuste de partições Estratégias de cache Otimização de memória Redução de shuffle Otimização de consultas Otimização de desempenho do Delta Lake Isso pode reduzir significativamente o tempo de execução e custos na nuvem.
O que você precisa de mim antes de começar?
Por favor, forneça: Detalhes da fonte (DB/API/arquivos) Amostra de dataset ou esquema Formato de saída esperado Detalhes da plataforma na nuvem Requisitos de negócio Prazo Requisitos claros me ajudam a entregar mais rápido e melhor.
