Vou ensinar o tópico de engenharia de dados pyspark, sql, data warehouse

Quer aprender as ferramentas e técnicas mais recentes para processamento, gerenciamento e arquitetura de dados? Neste curso completo, vou te ensinar tudo o que você precisa saber sobre jobs de ETL em lote/streaming na nuvem, com foco específico na AWS e Data bricks. Vamos aprofundar no processamento de dados usando PySpark, que é uma estrutura de processamento de dados de código aberto bastante popular na nuvem. Você também vai aprender a construir pipelines de dados usando Lake House Architecture e como criar um pipeline de dados ELT usando DBT (Data Build Tool).

Mas não é só isso! Também vou te ensinar sobre qualidade de dados usando Pydeeque, Great Expectation, que são ferramentas poderosas de validação de dados. Modelagem de dados também é uma área importante, especialmente Modelagem de Dimensões, que é fundamental para construir arquiteturas de dados robustas. Vamos abordar também Data Warehousing usando plataformas de nuvem populares como Snowflake, Big Query e RedShift.

Além desses tópicos, você também vai aprender sobre Orquestração usando Apache Airflow, AWS Step Function, e como construir pipelines de dados usando AWS Athena, AWS Kinesis, AWS Glue Catalog e AWS DMS. Também vamos cobrir Data Lake usando AWS S3.