eu vou deixar seu pipeline do kafka quebrado funcionando, resolver o lag do consumidor e otimizar o desempenho

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Urdu, Hindi, Inglês

63 pedidos finalizados

engenheiro de dataops

Olá! Eu sou Muhammad Touseef, um profissional experiente em segurança na nuvem, Linux, AWS, DevOps, SEO, desenvolvimento web e marketing digital. Com mais de 5 anos de experiência, especializo-me em c...
Sobre este Serviço

Seu pipeline do Kafka está atrasando, travando ou perdendo dados silenciosamente? Irei diagnosticar a raiz do problema e corrigir rapidamente, geralmente em 24 a 48 horas.


Sou engenheiro de Big Data que trabalha com Apache Kafka em produção. Não apenas \"reinicio o cluster\" e espero que funcione. Encontro a causa exata do lag do consumidor, desequilíbrio de partições, tempestades de rebalanceamento, má configuração do broker ou escritas lentas a jusante e corrijo de forma adequada.


O QUE VOCÊ CONSEGUE QUANDO FAZ O PEDIDO:


- Diagnóstico completo do problema do seu pipeline Kafka (producers, consumers, brokers, topics ou sink a jusante)

- Uma mudança de configuração direcionada para conserto, correção de código, escalonamento de consumidores ou estratégia de partições

- Um relatório escrito curto explicando o que estava errado, o que eu mudei e como evitar que aconteça novamente

- Comunicação clara em cada etapa


PROBLEMAS COMUNS QUE EU RESOLVO:


- Lag do consumidor que continua aumentando

- Consumidores repetidamente reequilibrando ou travando

- Mensagens perdidas ou presas em um tópico

- Throughput do produtor cai ou ocorrem timeouts

- Falhas do Kafka Connect ou conectores de sink (incluindo ClickHouse ou sinks de banco de dados)

- Problemas de configuração de tópico (partições, retenção, replicação)


Tecnologia:

Amazon Redshift

•

Apache Cassandra

•

Apache Hadoop

Especialidade:

Integração via API

•

agrupamento

•

Aquisição de dados