Serei seu engenheiro de big data na nuvem AWS ou Azure

Você está procurando um engenheiro de dados experiente para construir seu pipeline de dados na nuvem de sua escolha? Você está em boas mãos!

Sou engenheiro de dados com 10 anos de experiência em desenvolvimento no setor. Tenho um histórico comprovado de construção e manutenção de sistemas de dados escaláveis e eficientes.

pipelines usando DataBricks, PySpark, , Dbt e AWS Glue.

A seguir estão alguns dos meus conhecimentos

• Crie uma arquitetura e estratégia de dados para sua organização
• Trabalhos ETL em lote/streaming na nuvem (AWS, blocos de dados)
• Processamento de dados usando PySpark
• Construindo um pipeline de dados usando a arquitetura Lake House
• Construindo pipeline de dados ELT usando DBT (Ferramenta de Construção de Dados)
• Qualidade de Dados através do Pydeeque, Great Expectation
• Modelagem de Dados (Modelagem Dimensional)
• Armazenamento de dados (Snowflake, Big Query, RedShift)
• Orquestração usando Apache Airflow, AWS Step Function.
• Data Lake (AWS S3, Google Cloud Storage)
• Apache Kafka
• Transmissão Spark
• Catálogo AWS Athena, AWS Kinesis, AWS Glue
• AWS DMS
• Processamento de dados do GCP