Vou integrar um LLM no seu backend existente em Java Spring Boot ou Go

G
gaurav_sinha_31
G
gaurav_sinha_31
Gaurav S
Algumas informações foram traduzidas automaticamente.

Sobre este Serviço

Tradução automática

Você tem um serviço em Spring Boot ou Go que já recebe tráfego, realiza testes e possui um processo de release, e agora alguém quer incluir IA nele. Todo freelancer de IA com quem você conversou só trabalha com Python e quer reescrever seu backend ou acrescentar um serviço Python separado sem plano de como lidar com falhas.


Sou engenheiro de backend primeiro. Spring Boot, Kafka, Kubernetes e Go em produção para um grande banco de investimento dos EUA e uma seguradora americana - e já implementei serviços de LLM nesses mesmos sistemas ao vivo, dentro do processo de controle de mudanças e conformidade.


Então, posso colocar um modelo no seu sistema sem quebrar as partes que já funcionam.


O QUE EU FAÇO

Decido se o LLM deve ficar em processo ou como um serviço separado, defino o caminho de falha quando o modelo está lento ou indisponível, adiciono timeouts, retries e circuit breakers, e mantenho tudo testável em CI sem precisar chamar uma API paga a cada execução.


Essa última parte é a que as pessoas costumam pular, e por isso a funcionalidade de IA não consegue ser testada.

Conheça mais sobre Gaurav S

Gaurav S

Backend AI Systems Engineer

5,0(1)
  • A partir deÍndia
  • Membro desdefev. de 2024
  • Responde em aprox.:2 horas
  • Última entrega2 anos
  • Idiomas

    Inglês, Hindi
Backend engineer with nearly four years of production experience building event-driven systems and shipping LLM-backed services into live products at a US investment bank and a US insurance provider. I specialize in what most AI work skips: putting a model inside a service that already has traffic, tests and a release process it cannot break. Retrieval quality, evaluation harnesses, defined failure behavior. Spring Boot, Go, Python, Kafka, Kubernetes, AWS, LangChain, LangGraph, RAG, vector databases, QLoRA. Available full time.

Tradução automática

Meu portfólio