Vou construir pipelines de dados com apache airflow

Pacote inicial do Apache Airflow

Três grandes problemas com o Apache Airflow,

1. Colocar a infraestrutura de pé e funcionando
2. Aprender as melhores práticas e implementá-las para que você possa escalar o sistema mais rápido
3. A ingestão envolve mover dados de e para

• arquivos grandes
• Página web/aplicativo
• S3 ou GCS
• o data warehouse (Redshift, Oracle, MySQL, Postgres)
• sistema externo (Instagram, zapier, Twilio)

Trabalho com sistemas Airflow há três anos como engenheiro de software e consultor, e conheço o sistema Airflow por dentro e por fora.

Neste pacote inicial, vou te ajudar a.

• Configurar sua infraestrutura de Airflow (Docker/Kubernetes/EC2, você decide)
• Configuração básica do projeto para adicionar novas pipelines e testar tempos
• Design e desenvolvimento de pipelines para três pipelines

Me envie uma mensagem, e vamos marcar uma ligação estratégica gratuita de 40 minutos para descobrir o que funciona melhor para você.