Vou construir pipelines ETL automatizadas usando python airflow e sql
Engenheiro de Dados, Desenvolvedor Python e SQL, Especialista em Automação
Sobre este Serviço
Soluções profissionais de Engenharia de Dados & ETL automatizado
Você está procurando uma maneira confiável de automatizar seus fluxos de dados? Sou um Engenheiro de Software (Especializado em Engenharia de Dados) dedicado a criar sistemas de alto desempenho que transformam dados brutos em ativos estruturados e acionáveis.
O que eu ofereço:
- ETL/ELT de ponta a ponta: Pipelines totalmente automatizadas usando Apache Airflow.
- Data Lakehouse moderno: Implementando a arquitetura Medallion (Bronze, Silver, Gold) com PostgreSQL, dbt e MinIO.
- Processamento em tempo real: Soluções de streaming escaláveis usando Apache Kafka e Spark.
- Integridade dos dados: Sistemas de "Zero Tolerance" com zonas de quarentena automatizadas para dados corrompidos.
- Implantação completa: Tudo containerizado com Docker para configuração fácil com um clique.
Minha stack tecnológica:
- Linguagens: Python (Pandas, PySpark), SQL.
- Ferramentas: Airflow, dbt, Spark, Kafka, Hadoop.
- Armazenamento: PostgreSQL, MySQL, Amazon S3 (MinIO).
Por que trabalhar comigo? Eu foco em escrever código limpo, pronto para produção e fornecer Diagramas de Arquitetura profissionais para cada projeto. Garanto que seus dados sejam precisos, particionados para velocidade e prontos para análises.
Por favor, envie uma mensagem para discutir os requisitos do seu projeto antes de fazer um pedido!
Meu portfólio
Perguntas frequentes
Tradução automática
Preciso fornecer acesso à nuvem?
Sim, para implantar o pipeline, precisarei de acesso ao seu ambiente (AWS, GCP ou servidor privado) ou posso fornecer um arquivo Docker Compose para implantação local.
Com quais bancos de dados você trabalha?
Trabalho principalmente com PostgreSQL, MySQL e armazenamento compatível com S3, como MinIO, mas posso me adaptar ao Snowflake ou BigQuery se necessário.
Você fornecerá documentação?
Com certeza. Cada projeto inclui instruções claras no README e um diagrama de arquitetura para garantir que você possa gerenciar facilmente o sistema.

