Eu vou fazer engenheiro de dados do azure databricks, pyspark, sql, etl, dbt f

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês

Azure Databricks, Engenheiro de Dados, PySpark, Azure, SQL, ETL, Oracle

Engenheiro de Dados com mais de 3 anos de experiência em TI, atuando com suporte a aplicações empresariais e bancos de dados, especializado em Oracle SQL/PLSQL, processamento de dados, ETL e operações...

Saiba mais

Sobre este Serviço

Construo e mantenho pipelines de dados ETL/ELT usando Databricks, PySpark, Python e SQL.
Trabalho com plataformas de nuvem Azure e AWS, principalmente usando ADLS Gen2 e Amazon S3 para armazenamento de dados.
Desenvolvo notebooks do Databricks para extrair, transformar, limpar e carregar dados de diferentes fontes.
Uso PySpark para processar grandes conjuntos de dados e realizar junções, agregações, filtragens e transformações.
Trabalho com Delta Lake para criar tabelas de dados confiáveis e escaláveis.
Projeto camadas Bronze, Silver e Gold para organizar e processar dados de forma eficiente.
Conecto o Databricks com bancos de dados como Oracle, SQL Server, MySQL e PostgreSQL.
Crio consultas SQL para extração, transformação, validação e análise de dados.
Construo pipelines de dados batch e incremental, dependendo da necessidade do negócio.
Agendo e automatizo pipelines usando Databricks Workflows e Jobs.
Uso Azure Data Factory para orquestração de pipelines e integração com serviços do Azure.
Realizo checagens de qualidade de dados, incluindo tratamento de valores nulos, duplicados, dados incorretos e mudanças na schema.
Resolvo problemas de pipelines que falham e investigo questões de dados e jobs do Spark.
Otimizo jobs do PySpark usando técnicas como particionamento, cache.