Eu vou construir pipelines ETL usando python, airflow, spark e sql

Algumas informações foram traduzidas automaticamente.

Índia

Eu falo Hindi, Inglês

Engenheiro de Dados e Desenvolvedor Backend em Python de Alto Desempenho

Engenheiro de Sistemas Backend especializado em FastAPI, PostgreSQL, Redis e desenvolvimento de APIs escaláveis. Construo sistemas backend prontos para produção, aplicações distribuídas e pipelines de...
Sobre este Serviço

Precisa de uma pipeline de dados confiável para automatizar o processamento de dados e eliminar trabalho manual?

Eu construo pipelines ETL escaláveis usando Python, Apache Airflow, Apache Spark, SQL e práticas modernas de engenharia de dados. Seja processando arquivos, bancos de dados, APIs ou armazenamento na nuvem, posso criar fluxos de trabalho eficientes, fáceis de manter e prontos para produção.


Serviços que ofereço

  • Desenvolvimento de ETL em Python
  • DAGs de Apache Airflow
  • Pipelines de Apache Spark
  • Transformação de dados com SQL
  • Limpeza e validação de dados
  • Integração de API e banco de dados
  • Automação de workflows agendados
  • Carregamento incremental de dados
  • Verificação de qualidade de dados
  • Registro e tratamento de erros
  • Pipelines Dockerizados
  • Documentação e suporte à implantação

Foco em construir pipelines limpos, escaláveis e bem documentados, que sejam fáceis de manter e expandir. Cada solução é pensada com confiabilidade, desempenho e melhores práticas em mente.

Se não tiver certeza de qual pacote se encaixa no seu projeto, envie uma mensagem antes de fazer o pedido. Vou ajudar você a escolher a melhor solução com base nas suas necessidades.

Destination Platform:

Snowflake

Azure Synapse Analytics

Ferramentas e plataformas:

Fábrica de dados do Azure

Meu portfólio