Eu vou construir pipelines de streaming em tempo real com apache kafka

Algumas informações foram traduzidas automaticamente.

Estados Unidos

Eu falo Inglês

Engenheiro de Dados Sênior, Certificado pela AWS, Desenvolvedor Cloudera Spark

Construo pipelines de dados de nível de produção, data warehouses na nuvem e stacks de dados modernos para startups e empresas em crescimento. 9 anos atuando em bancos, finanças, varejo e hospitalida...
Sobre este Serviço

Precisa de um pipeline de dados em tempo real que mova eventos de forma confiável dos bancos de dados ou APIs das suas aplicações para sua plataforma de análise?



Eu construo pipelines de streaming prontos para produção usando Apache Kafka, Kafka Connect, Spark Structured Streaming, AWS Kinesis, Glue, Databricks e data warehouses na nuvem.



O que posso entregar:


- Arquitetura de tópicos Kafka e produtor/consumidor


- ETL de streaming com Spark Structured Streaming ou Python


- Conectores de origem Kafka Connect ou Debezium


- Verificações de qualidade de dados e validação de schema


- Entrega em Snowflake, BigQuery, Redshift, S3 ou Databricks


- Documentação de monitoramento e orientações de implantação



Por que trabalhar comigo:


- 9 anos como Engenheiro de Dados Sênior


- Forte experiência em arquitetura de batch e streaming


- Experiência com AWS, Databricks, Snowflake e plataformas de dados empresariais


- Entrega limpa com documentação de código e notas de arquitetura



Por favor, envie uma mensagem antes de fazer o pedido para que eu possa confirmar a fonte do evento, a plataforma de destino e a taxa de transferência esperada.

Destination Platform:

Snowflake

Google BigQuery

Amazon Redshift

Ferramentas e plataformas:

AWS Glue DataBrew

Outros serviços de Engenharia de Dados que eu ofereço