Vou construir um pipeline de dados gpt com kafka, spark e docker

Algumas informações foram traduzidas automaticamente.
Michal M
5,0
5,0

República Tcheca

Eu falo Inglês, Tcheco

14 pedidos finalizados

Vamos transmitir seus dados, com IA!

Eu projeto e implemento pipelines de streaming de dados e arquiteturas lakehouse usando Kafka, Spark, Hadoop, Iceberg, Trino e MinIO, com enriquecimento opcional alimentado por IA. Posso te entregar:...
Saiba mais
Sobre este Serviço

Vou montar um pipeline completo em tempo real usando Apache Kafka, Spark Streaming e OpenAI GPT (ChatGPT). O sistema resume dados streaming em tempo real e roda dentro de Docker para facilitar a implantação em qualquer lugar.


Você receberá (com base no seu pacote escolhido):


  • Sumarizador GPT FastAPI com teste curl
  • Integração Kafka Spark GPT
  • Armazenamento opcional em HDFS ou produtor Spring Boot
  • Configuração Docker Compose
  • Logs de exemplo e dados de teste


Você pode usar isso para:


  • Compressão de logs
  • Processamento de streams de alertas
  • Dashboards em tempo real
  • Logs de suporte aprimorados com GPT
  • Monitoramento de transações
  • Detecção de anomalias com feedback do GPT
  • Monitoramento com dashboards Prometheus + Grafana
  • Qualquer outra coisa que você imaginar


Tudo é modular, testado e pronto para produção. Você fornecerá sua própria chave da OpenAI de forma segura via .env.


Por favor, note:


  • Os entregáveis dependem do pacote selecionado
  • Ofertas personalizadas disponíveis - é só me enviar uma mensagem!
  • Inclui 2 mensagens de acompanhamento para esclarecimento após a entrega
  • Você é responsável por testar/rodar em seu próprio ambiente
  • O uso da OpenAI requer sua própria API key
Saiba mais
build a gpt data pipeline with kafka, spark, and docker
Tela Inteira
build a gpt data pipeline with kafka, spark, and docker

Especialidade:

Integração via API

•

Big data

•

Fluxo de dados

•

etl

+ 1

Tecnologia:

Apache Hadoop

•

Apache Kafka

•

apache spark

•

JAVA

•

SQL

Meu portfólio

Outros serviços de Engenharia de Dados que eu ofereço

Avaliações

3 avaliações deste Serviço
5,0

(3)
(0)
(0)
(0)
(0)
Classificação detalhada
  • Nível de comunicação do freelancer
    5
  • Qualidade da entrega
    5
  • Valor da entrega
    5
Ordenar por
Mais relevante
  • T

    thethirdone

    Cliente recorrente

    SE

    Suécia

    5

    Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.

    US$ 50-US$ 100

    $

    4 dias

    Tempo

    Útil?
    Sim
    Não
  • T

    thethirdone

    Cliente recorrente

    SE

    Suécia

    5

    Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.

    US$ 50-US$ 100

    $

    7 dias

    Tempo

    Útil?
    Sim
    Não
  • A

    antoinedubo

    Cliente recorrente

    BE

    Bélgica

    5

    I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.

    US$ 100-US$ 200

    $

    5 dias

    Tempo

    Útil?
    Sim
    Não
Avaliações

3 avaliações deste Serviço
5,0

(3)
(0)
(0)
(0)
(0)
Classificação detalhada
  • Nível de comunicação do freelancer
    5
  • Qualidade da entrega
    5
  • Valor da entrega
    5
Ordenar por
Mais relevante
  • T

    thethirdone

    Cliente recorrente

    SE

    Suécia

    5

    Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.

    US$ 50-US$ 100

    $

    4 dias

    Tempo

    Útil?
    Sim
    Não
  • T

    thethirdone

    Cliente recorrente

    SE

    Suécia

    5

    Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.

    US$ 50-US$ 100

    $

    7 dias

    Tempo

    Útil?
    Sim
    Não
  • A

    antoinedubo

    Cliente recorrente

    BE

    Bélgica

    5

    I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.

    US$ 100-US$ 200

    $

    5 dias

    Tempo

    Útil?
    Sim
    Não

Tags relacionadas