Vou construir pipelines de dados escaláveis com spark ou pyspark
Sobre este Serviço
Você está tendo dificuldades com processamento de dados em grande escala ou pipelines ETL lentos?
Sou um Engenheiro de Dados com mais de 5 anos de experiência construindo pipelines de dados de alto desempenho para sistemas fintech que processam milhões de transações por dia.
Posso ajudar você a projetar, construir e otimizar pipelines de dados escaláveis usando tecnologias modernas de big data.
Serviços que ofereço:
Construção de pipelines ETL usando Spark / PySpark
Streams de Kafka
Processamento de dados em lote e em tempo real
Otimização de pipelines de dados
Ingestão de dados de APIs, bancos de dados ou arquivos
Integração com data warehouse
Tecnologias:
Spark | PySpark | Kafka | Scala | Hive | BigQuery | BigTable | SQL | GCP | Azure
Por que me escolher?
Pipelines de nível de produção
Otimizados para grandes conjuntos de dados
Código limpo e escalável
Comunicação rápida
