Eu farei trabalho de big data usando spark, hive, kafka e serviços de nuvem

Engenheiro de Dados Sênior na Amazon com mais de 6 anos de experiência em big data e trabalhou em várias plataformas de nuvem como AWS, GCP, Azure. Desenvolveu e agendou pipelines de ETL de produção altamente eficientes capazes de lidar com terabytes de dados.

Habilidades de Programação

• Python
• Scala
• SQL

Habilidades em Big Data

• Apache Spark (DataFrame e Datasets)
• Apache Hive
• Apache Airflow
• Hadoop
• PySpark
• Apache Kafka
• Delta lake
• Databricks
• HDFS
• Spark streaming

Habilidades em Nuvem

• AWS Redshift
• AWS S3
• AWS Lambda
• EMR
• EC2
• Kinesis
• RDS
• GCP Compute cloud
• Big query

Outras habilidades

• Pandas (python-Pandas)
• MySql
• Postgres
• RestAPI

Se você procura alguém para construir pipelines do zero ou melhorar ou otimizar o desempenho de pipelines existentes, basta me chamar que realizamos isso.