Vou construir pipelines de ETL escaláveis usando python, pyspark e AWS

Algumas informações foram traduzidas automaticamente.
Saurabh

Índia

Eu falo Inglês

2 pedidos finalizados

Engenheiro de dados, pipelines ETL, Databricks, SQL, Azure, AWS

Você está procurando um Engenheiro de Dados profissional para construir pipelines ETL robustas e escaláveis? Você está no lugar certo! 🔹 Python, PySpark, Pandas & SQL 🔹 AWS Glue, S3 & Redshift 🔹 Az...
Saiba mais
Sobre este Serviço

Pipeline de ETL de ponta a ponta

  • Projetar e implementar pipelines de dados escaláveis usando Python, PySpark, AWS Glue e Databricks para processamento eficiente de dados.


Engenharia de Dados na AWS

  • Construir pipelines de S3 para Redshift com ingestão, transformação, validação, particionamento e carregamento incremental de dados.


Engenharia de Dados na Azure

  • Desenvolver soluções escaláveis usando Azure Databricks, ADLS, PySpark e Delta Lake para plataformas modernas de dados na nuvem.


Limpeza e Transformação de Dados

  • Usar Pandas, PySpark e SQL para limpar, transformar, mesclar, validar e padronizar dados estruturados e semi-estruturados.


Otimização de Performance

  • Otimizar cargas de trabalho de Spark e ETL usando particionamento, broadcast joins, pushdown de predicados, AQE e formatos Parquet/Delta otimizados.
Saiba mais
build scalable etl data pipelines using python pyspark and AWS
Tela Inteira
build scalable etl data pipelines using python pyspark and AWS

Destination Platform:

Amazon Redshift

•

PostgreSQL

•

mySQL

+ 2

Ferramentas e plataformas:

AWS Glue DataBrew

•

Outros

Tags relacionadas