Vou construir pipelines ETL na AWS com airflow, spark e python

Algumas informações foram traduzidas automaticamente.
Andres Rios

México

Eu falo Espanhol, Inglês

Engenheiro de Dados Sênior

Sou um engenheiro de dados independente com mais de 20 anos de experiência em TI e mais de 10 anos especializado em plataformas de dados de grande volume. Eu projeto, construo e otimizo pipelines ETL/...
Saiba mais
Sobre este Serviço

Engenheiro de Dados Sênior há mais de 10 anos construindo ETL de produção para clientes da Fortune 500 (Expedia, Ford, HP).

Eu crio pipelines de dados confiáveis e prontos para produção na AWS usando Python, PySpark, Airflow e Spark, não scripts descartáveis. Engenharia de verdade: particionamento, joins de broadcast, orquestração e testes.

Histórico:

Reduzi um job HiveQL de 64 horas para menos de 3 horas (95,6% mais rápido)

Migrei 500 TB de Hadoop para AWS, totalmente validado

Criei e gerenciei minha própria plataforma SaaS multi-inquilino do começo ao fim

O que você recebe: pipelines de código limpo, documentado e implantável que sua equipe pode manter, não uma caixa preta.

Baseado no México (sobreposição de fuso horário dos EUA), colaboração em tempo real durante seu horário comercial. Inglês fluente.

Não tem certeza de qual pacote é o ideal? Me envie uma mensagem primeiro e vamos definir juntos.

Saiba mais
build AWS etl pipelines with airflow, spark and python
Tela Inteira
build AWS etl pipelines with airflow, spark and python
Tela Inteira
Tela Inteira
Visualizar Apresentação
build AWS etl pipelines with airflow, spark and pythonbuild AWS etl pipelines with airflow, spark and pythonbuild AWS etl pipelines with airflow, spark and pythonbuild AWS etl pipelines with airflow, spark and python

Destination Platform:

Amazon Redshift

•

PostgreSQL

•

mySQL

+ 2

Ferramentas e plataformas:

AWS Glue DataBrew

•

Outros

Meu portfólio

Tags relacionadas