Vou integrar um LLM no seu backend existente em Java Spring Boot ou Go


Sobre este Serviço
Tradução automática
Você tem um serviço em Spring Boot ou Go que já recebe tráfego, realiza testes e possui um processo de release, e agora alguém quer incluir IA nele. Todo freelancer de IA com quem você conversou só trabalha com Python e quer reescrever seu backend ou acrescentar um serviço Python separado sem plano de como lidar com falhas.
Sou engenheiro de backend primeiro. Spring Boot, Kafka, Kubernetes e Go em produção para um grande banco de investimento dos EUA e uma seguradora americana - e já implementei serviços de LLM nesses mesmos sistemas ao vivo, dentro do processo de controle de mudanças e conformidade.
Então, posso colocar um modelo no seu sistema sem quebrar as partes que já funcionam.
O QUE EU FAÇO
Decido se o LLM deve ficar em processo ou como um serviço separado, defino o caminho de falha quando o modelo está lento ou indisponível, adiciono timeouts, retries e circuit breakers, e mantenho tudo testável em CI sem precisar chamar uma API paga a cada execução.
Essa última parte é a que as pessoas costumam pular, e por isso a funcionalidade de IA não consegue ser testada.
Conheça mais sobre Gaurav S
Backend AI Systems Engineer
- A partir deÍndia
- Membro desdefev. de 2024
- Responde em aprox.:2 horas
- Última entrega2 anos
Idiomas
Inglês, Hindi
Tradução automática
Meu portfólio
Outros serviços de Desenvolvimento de IA que eu ofereço
Perguntas frequentes
Tradução automática
Meu backend não é Java ou Go.
Me envie uma mensagem. Python e Node também posso fazer - os nomes Java e Go estão aí porque essa combinação quase ninguém mais oferece.
Você precisará alterar minha arquitetura?
Minha preferência padrão não é usar essas linguagens. Te aviso antes de começar se acho que algo precisa mudar, e o motivo.
Como posso testar uma funcionalidade de LLM?
Mockado na fronteira para CI, além de uma pequena suíte de avaliação executada separadamente contra o modelo real. Ambos estão incluídos na versão Standard ou superior. Essa é a coisa mais comum que as equipes erram.
Você consegue trabalhar com nossa revisão de conformidade ou segurança?
Sim. Implemento funcionalidades de LLM dentro do processo de revisão de um banco - estou acostumado a escrever o documento, não só o código.
Você precisa de acesso à produção?
Não, e prefiro que não tenha. Um ambiente de desenvolvimento já é suficiente.

