Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou configurar o catálogo Unity do databricks, camadas medallion e pipelines ETL em pyspark
Engenheiro de dados, desenvolvedor Python, automação com IA e agentes de IA
Líder em arquitetura de dados e engenheiro de dados sênior com mais de 6 anos de experiência ajudando empresas a projetar, escalar e estabilizar suas plataformas de dados.
Trabalho com empresas para ...
Verificado pelo Fiverr Pro
Hamza Anwar foi selecionado pela equipe do Fiverr Pro considerando sua experiência.
Verificado para
Engenharia de Dados
Sobre este Serviço
Vetted Pro
A maioria dos projetos de data lake falha na fase Silver. Os dados brutos ficam na camada Bronze e simplesmente permanecem lá, bagunçados, não confiáveis, inutilizáveis. Eu construo toda a pipeline desde a ingestão dos dados brutos até uma camada Gold que suas ferramentas de BI podem realmente consultar.
Sou um Engenheiro de Dados em Python com experiência prática em Databricks, cobrindo toda a stack lakehouse, arquitetura medallion, pipelines PySpark, Delta Lake, Unity Catalog e Databricks Workflows. Também tenho um mestrado em Business Intelligence, então entendo como os dados precisam estar na camada Gold para que os relatórios funcionem de verdade.
O que vou montar para você:
- Arquitetura medallion (Bronze / Silver / Gold) planejada com base nas suas fontes de dados e lógica de negócio
- Notebooks PySpark documentados, testados e prontos para produção
- Tabelas Delta com particionamento adequado, Z-ordering e vacuuming
- Configuração do Unity Catalog com schemas, catálogos e políticas de acesso
- Databricks Workflows para agendar, monitorar e reiniciar suas pipelines automaticamente
- Camada Gold pronta para BI, que sua equipe pode consultar desde o primeiro dia
Não sabe exatamente o que precisa? Envie suas fontes de dados e seu objetivo final, que eu te digo exatamente o que faz sentido construir.
Warehouse Platform:
Databricks
Tipo de projeto:
New Build
Clientes com quem já trabalhei
Acuity Healthcare
Built an automated healthcare executive leads pipeline in Python that scrapes Indeed, enriches contacts via Apollo, anymailfinder, verifies emails through Million Verifier, and delivers 2,000 job-matched leads per batch to Excel.
mar. de 2026-mai. de 2026
Meu portfólio
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
O que é arquitetura medallion e eu preciso dela?
Medallion é uma abordagem em camadas para organizar dados em um lakehouse. Bronze contém os dados brutos. Silver limpa e conforma esses dados. Gold agrega em tabelas prontas para negócios. Se você tem múltiplas fontes de dados e precisa de dados confiáveis e consultáveis para relatórios ou ML, esse é o padrão certo.
Eu preciso de um workspace Databricks já criado?
Sim, você vai precisar de um workspace Databricks configurado na Azure, AWS ou GCP. Eu trabalho dentro do seu ambiente, assim tudo fica na sua conta. Se não souber o que configurar primeiro, me envie uma mensagem que posso te orientar.
Quais fontes de dados você consegue ingestar na Bronze?
APIs REST, bancos relacionais (PostgreSQL, MySQL, SQL Server), arquivos de armazenamento na nuvem (CSV, JSON, Parquet, Avro no S3 ou ADLS), fontes de streaming via Auto Loader, e plataformas de terceiros. Me diga suas fontes e eu confirmo o que é mais fácil ou o que precisa de trabalho extra.
O que é Unity Catalog e por que isso importa?
Unity Catalog é a camada de governança de dados do Databricks. Permite controlar quem pode acessar quais tabelas, rastrear a linhagem dos dados e gerenciar schemas em diferentes workspaces num só lugar. Para equipes com múltiplos usuários ou requisitos regulatórios, vale a pena configurar desde o começo.
A camada Gold consegue se conectar ao Power BI ou Tableau?
Sim. Tabelas Delta Gold se conectam nativamente ao Power BI via o conector do Databricks, e ao Tableau e Looker Studio do mesmo jeito. Eu estruturo a camada Gold para que sua ferramenta de BI possa consultá-la diretamente, sem precisar de transformação adicional.
