Vou construir um pipeline de dados gpt com kafka, spark e docker
Vamos transmitir seus dados, com IA!
Sobre este Serviço
Vou montar um pipeline completo em tempo real usando Apache Kafka, Spark Streaming e OpenAI GPT (ChatGPT). O sistema resume dados streaming em tempo real e roda dentro de Docker para facilitar a implantação em qualquer lugar.
Você receberá (com base no seu pacote escolhido):
- Sumarizador GPT FastAPI com teste curl
- Integração Kafka Spark GPT
- Armazenamento opcional em HDFS ou produtor Spring Boot
- Configuração Docker Compose
- Logs de exemplo e dados de teste
Você pode usar isso para:
- Compressão de logs
- Processamento de streams de alertas
- Dashboards em tempo real
- Logs de suporte aprimorados com GPT
- Monitoramento de transações
- Detecção de anomalias com feedback do GPT
- Monitoramento com dashboards Prometheus + Grafana
- Qualquer outra coisa que você imaginar
Tudo é modular, testado e pronto para produção. Você fornecerá sua própria chave da OpenAI de forma segura via .env.
Por favor, note:
- Os entregáveis dependem do pacote selecionado
- Ofertas personalizadas disponíveis - é só me enviar uma mensagem!
- Inclui 2 mensagens de acompanhamento para esclarecimento após a entrega
- Você é responsável por testar/rodar em seu próprio ambiente
- O uso da OpenAI requer sua própria API key
Tecnologia:
Apache Hadoop
•
Apache Kafka
•
apache spark
•
JAVA
•
SQL
Meu portfólio
Outros serviços de Engenharia de Dados que eu ofereço
Perguntas frequentes
Tradução automática
Isso vai funcionar com GPT-3.5 ou GPT-4?
Sim. Se sua chave da API da OpenAI tiver acesso ao GPT-4, ela será usada. Caso contrário, o padrão é GPT-3.5-turbo.
Posso testar isso localmente?
Com certeza. Tudo é totalmente dockerizado. Você só precisa ter o Docker instalado, sem necessidade de configuração manual ou Python.
Você pode implantar isso na AWS pra mim?
Sim! Posso implantar toda a pipeline em uma instância EC2 como uma oferta personalizada. É só me chamar para mais detalhes.
Isso vai funcionar no Windows/Mac/Linux?
Sim, já que roda em Docker, é independente de sistema operacional.
O uso da OpenAI está incluso?
Você vai precisar da sua própria chave da API da OpenAI. Vou te orientar sobre como configurá-la de forma segura usando um arquivo .env.
Ele salva resumos no HDFS?
Por padrão, os resumos são registrados no console. Se quiser armazená-los, posso modificar a lógica. É só pedir.
3 avaliações deste Serviço
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Classificação detalhada
- Nível de comunicação do freelancer
- Qualidade da entrega
- Valor da entrega
Ordenar por
T thethirdone
Cliente recorrente

Suécia
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
US$ 50-US$ 100
$
4 dias
Tempo
Útil?T thethirdone
Cliente recorrente

Suécia
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
US$ 50-US$ 100
$
7 dias
Tempo
Útil?A antoinedubo
Cliente recorrente

Bélgica
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
US$ 100-US$ 200
$
5 dias
Tempo
Útil?
3 avaliações deste Serviço
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Classificação detalhada
- Nível de comunicação do freelancer
- Qualidade da entrega
- Valor da entrega
Ordenar por
T thethirdone
Cliente recorrente

Suécia
Took charge of the task and generated valuable insights about infrastructure. Shows that he has a good understanding of the subject and enables coming up with proactive and pragmatic ideas when the original specification was blurry. Also, good at reading through messy documentation.
US$ 50-US$ 100
$
4 dias
Tempo
Útil?T thethirdone
Cliente recorrente

Suécia
Excellent work developing a custom solution even though documentation available online is hard to interpret. Saved me a lot of time and was very transparent throughout the entire project process. Would recommend and be happy to work with again on future projects.
US$ 50-US$ 100
$
7 dias
Tempo
Útil?A antoinedubo
Cliente recorrente

Bélgica
I've worked with Michal and have been really happy with the experience. He's knowledgeable, professional, and communicates well throughout the project. Everything has gone smoothly, and I plan to keep working with him. Definitely recommend.
US$ 100-US$ 200
$
5 dias
Tempo
Útil?
