Eu serei seu engenheiro de dados usando python e pyspark na AWS, GCP e Azure

Sou um Engenheiro de Dados com mais de 10 anos de experiência construindo plataformas de dados de nível de produção em nuvem e sistemas distribuídos. Tenho um mestrado em Computação em Nuvem e Sistemas Distribuídos e já trabalhei com clientes que vão desde startups até empresas Fortune 500, entregando arquiteturas de alto desempenho que processam bilhões de eventos com baixa latência e alta confiabilidade.

Ajudo organizações a transformar dados brutos em sistemas escaláveis e prontos para análise projetando e implementando soluções completas de engenharia de dados.

Especialidades principais

• Arquitetura e Estratégia de Dados Arquiteturas escaláveis, seguras e alinhadas às necessidades de negócios e conformidade
• Pipeline de Lote e Streaming ETL/ELT usando Spark, PySpark, Flink, Kafka
• Engenharia de Dados na Nuvem AWS, GCP, Azure, incluindo Databricks, Data Factory, Dataflow, S3, BigQuery
• Integração de Dados e APIs Ingestão de APIs em data lakes, armazéns e bancos de dados
• Habilitação de Análises Pipelines para Power BI, Tableau, Qlik e dashboards
• Databricks e PySpark Desenvolvimento de workflows e pipelines
• Bancos de Dados SQL otimização e armazenamento; NoSQL (MongoDB, Cassandra)
• Automação e Orquestração Airflow, NiFi
• Habilitação de ML Plataformas de dados otimizadas para machine learning