Eu vou construir pipelines de streaming em tempo real com apache kafka
Engenheiro de Dados Sênior, Certificado pela AWS, Desenvolvedor Cloudera Spark
Sobre este Serviço
Precisa de um pipeline de dados em tempo real que mova eventos de forma confiável dos bancos de dados ou APIs das suas aplicações para sua plataforma de análise?
Eu construo pipelines de streaming prontos para produção usando Apache Kafka, Kafka Connect, Spark Structured Streaming, AWS Kinesis, Glue, Databricks e data warehouses na nuvem.
O que posso entregar:
- Arquitetura de tópicos Kafka e produtor/consumidor
- ETL de streaming com Spark Structured Streaming ou Python
- Conectores de origem Kafka Connect ou Debezium
- Verificações de qualidade de dados e validação de schema
- Entrega em Snowflake, BigQuery, Redshift, S3 ou Databricks
- Documentação de monitoramento e orientações de implantação
Por que trabalhar comigo:
- 9 anos como Engenheiro de Dados Sênior
- Forte experiência em arquitetura de batch e streaming
- Experiência com AWS, Databricks, Snowflake e plataformas de dados empresariais
- Entrega limpa com documentação de código e notas de arquitetura
Por favor, envie uma mensagem antes de fazer o pedido para que eu possa confirmar a fonte do evento, a plataforma de destino e a taxa de transferência esperada.
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
Quais informações você precisa para começar?
Por favor, compartilhe seu sistema de origem, plataforma de destino, volume esperado de eventos, exemplos de payloads e quaisquer detalhes de conta Kafka, Kinesis ou nuvem existentes.
