Vou construir pipelines de dados escaláveis e ETL com python, sql, airflow e databricks

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Inglês, Alemão

Engenheiro de Dados e IA

Sou engenheiro de Dados e IA com mestrado em Ciência de Dados e mais de 2 anos de experiência na Amazon e Tata Consultancy Services. Na Amazon, criei pipelines que processaram mais de 1TB de dados par...
Sobre este Serviço

Precisa de pipelines de dados confiáveis que funcionem de verdade? Sou um Engenheiro de Dados com mestrado em Ciência de Dados e experiência na indústria na Amazon e Tata Consultancy Services, onde criei pipelines processando mais de 1TB de dados para mais de 100 analistas.


O que posso criar para você:

  • pipelines ETL/ELT em Python e SQL
  • Integração de dados de APIs, bancos de dados, CSV/Excel e armazenamento na nuvem
  • Workflows agendados com Apache Airflow
  • Data warehouses e modelos dbt
  • Processamento com Databricks e PySpark para grandes conjuntos de dados
  • Limpeza, validação e verificações de qualidade de dados
  • Pipelines na AWS, GCP ou Databricks


Por que trabalhar comigo:

  • Na Amazon, reduzi o tempo de processamento de pipelines em 30% e eliminei 95% do trabalho manual com automação
  • Engenheiro de Dados Certificado pela Databricks
  • Código limpo, documentado e testado, totalmente de sua propriedade
  • Comunicação clara e entrega pontual


Como funciona:

  1. Me envie uma mensagem com suas fontes de dados e objetivo
  2. Vou confirmar o escopo e o pacote adequado
  3. Você recebe código funcional, documentação e uma orientação passo a passo


Não tem certeza de qual pacote é o ideal? Envie uma mensagem antes de pedir, e responderei rapidamente.

Especialidade:

Automações

•

Extração de dados

•

Fluxo de dados

Tecnologia:

Amazon Redshift

•

Apache Kafka

•

Python

•

SAS

•

SQL