Vou construir pipelines de dados escaláveis usando dagster, AWS, postgresql e redshift

Você está procurando um Engenheiro de Dados confiável para criar pipelines de dados escaláveis e de nível de produção?

Eu me especializo em construir plataformas de dados modernas usando:

• Dagster (orquestração de workflow e pipelines baseados em ativos)
• PostgreSQL (banco de dados de origem e metadados)
• Amazon S3 (armazenamento de data lake)
• Amazon Redshift (armazém de análises)
• Python (desenvolvimento de ETL/ELT)

O que Posso Fazer por Você

Construir pipelines ETL/ELT de ponta a ponta

Projetar ativos e jobs no Dagster

Carregar dados de APIs / bancos de dados S3 Redshift

Implementar pipelines incrementais (CDC, watermarking)

Otimizar performance para milhões de registros

Lidar com evolução de esquema e validação de dados

Configurar particionamento de dados (diário/hora)

Criar arquitetura de data lake baseada em S3

Depurar e corrigir pipelines existentes

Minha Expertise Inclui

• pipelines multi-asset no Dagster
• migração de PostgreSQL para Redshift
• particionamento Parquet no S3
• carregamentos incrementais (sem duplicatas)
• injeção de dados em grande escala (milhões de linhas)
• qualidade e validação de dados
• testes unitários e de integração
• tratamento de erros e retries

Abordagem Pronta para Produção

Sigo as melhores práticas do setor:

• estrutura de código modular
• registro e monitoramento
• retries e tratamento de falhas
• pipelines idempotentes
• design pronto para CI/CD