Vou construir pipelines de dados ETL automatizadas

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Urdu, Inglês

Engenheiro de dados

Sou engenheiro de dados com mais de 3 anos de experiência entregando soluções de dados ponta-a-ponta em plataformas de nuvem como a Microsoft Azure. Eu me especializo em construir pipelines ETL/ELT e ...
Sobre este Serviço

Precisa de dados de sites, ou tem dados mas não um sistema confiável para movê-los? Planilhas, APIs e bancos de dados que nunca batem, relatórios refeitos à mão toda semana, pipelines que quebram da noite para o dia? Eu resolvo isso.

Sou um Data Engineer com 4 anos de experiência e um MSc em Big Data Analytics do Reino Unido. Atualmente sigo construindo pipelines de produção para grandes marketplaces online, incluindo tabelas de fato incrementais no Redshift com mais de 20M de registros.

O que eu buildo:

  • Web scraping com BeautifulSoup, Requests, Selenium, Scrapy e Playwright, alimentando dados de sites diretamente no seu pipeline
  • Pipelines ETL/ELT em Python, PySpark, SQL e Airflow
  • Cargas incrementais para processar apenas os dados novos
  • Carregamento de armazém no Redshift, BigQuery ou Azure
  • Tratamento de mismatch de schema com AWS Lambda, para pipelines não falharem silenciosamente
  • Correções de qualidade de dados para registros duplicados e ausentes
  • Power BI / Microsoft Fabric dashboards com seus dados limpinhos

Por que eu? experiência real de produção, código limpo documentado que você possui e atualizações claras em cada etapa.

Por favor, me mande uma mensagem antes de pedir para eu entender direito o seu projeto.

Idioma:

Inglês

Experiência técnica:

dbt (Data Build Tool)

•

Matillion

Especialidade:

Pipelines de dados

•

Desenvolvimento de ETL

Setor:

Data analytics

•

Marketing e publicidade