Eu vou construir ou consertar pipelines CDC com Debezium, Kafka e Postgres

Algumas informações foram traduzidas automaticamente.

Paquistão

Eu falo Inglês

181 pedidos finalizados

Engenheiro sênior de Dados e IA, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Eu monto plataformas de dados e pipelines de LLM que rodam em produção. 10 anos em engenharia de software e dados, desde 2016. Data Engineer II na Careem (Uber), onde nosso time DataOps rodou 500+ jo...

Nível 2

Atendeu a critérios de alto desempenho e tem um histórico comprovado de atendimento às expectativas dos clientes.

Sobre este Serviço
  • Captura de dados de mudança quebra de forma discreta. Espaços de replicação ficam presos e enchem o disco, colunas grandes chegam como marcadores, e instruções MERGE sobrescrevem linhas boas enquanto todo painel fica verde.

Eu construo CDC que aguenta o tranco, ou conserto o que você tem:

  • CDC baseado em logs do Postgres ou MySQL com Debezium, Kafka, Meltano ou Maxwell
  • Carrega no Snowflake, BigQuery ou Postgres com lógica MERGE correta para deletes e updates
  • Correções para sobrescritas de placeholder TOAST no Postgres
  • Monitoramento de slots de replicação e um caminho seguro de recuperação, sem recarregamento completo
  • Checagens de reconciliação para que as contagens e valores da origem e do destino coincidam

Histórico:

  • Replicação do Postgres reconstruída com CDC baseado em logs para Snowflake, para uma unicorn de delivery-tecnologia nos EUA
  • Construí um agente que limpa slots de replicação travados e faz uma atualização parcial limpa, sem que ninguém seja acionado
  • Careem: CDC em tempo real através de Maxwell, Kafka e Spark Streaming
  • Escrevi sobre o bug Debezium TOAST silent-overwrite e a correção em três camadas

Idioma:

Inglês

Experiência técnica:

Apache Airflow

•

Dagster

•

apache spark

Especialidade:

Pipelines de dados

Setor:

Vídeo e áudio

•

Segurança Cibernética

•

Data analytics

Meu portfólio

Outros serviços de Engenharia de Dados que eu ofereço

Tags relacionadas