Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou configurar um gateway litellm com observabilidade de LLM
ali shah
Sobre este Serviço
Tradução automática
Aplicativos de IA sem um gateway e rastreamentos se tornam uma adivinhação: sem ideia de qual chave gastou o quê, qual modelo está lento ou por que os custos dobraram após o lançamento. Eu configuro LiteLLM + Langfuse para que você possa ver e controlar tudo isso.
O QUE EU CONFIGURO
- Proxy LiteLLM no Docker, VPS ou na sua nuvem, com um endpoint /v1 compatível com OpenAI
- Roteamento multi-fornecedor: OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter, modelos locais
- Chaves virtuais por app/equipe com orçamentos, limites de RPM/TPM e acesso por modelo
- Cadenas de fallback e tentativas automáticas de retry/failover em 429, 500 e timeouts
- Rastreamento de custos por chave, por modelo, por cliente, com alertas de gastos de 60/80/100%
- Rastreamentos Langfuse (ou LangSmith/Helicone), percentis de latência e logs de erro
- Um painel ou relatório semanal que sua equipe realmente consegue ler
- config.yaml, notas de implantação e um runbook de transferência
Isso não é uma construção de chatbot. É para equipes que já estão rodando ou entregando um app de IA e querem controle de produção sobre ele.
Envie seus provedores, estimativa de tráfego e onde ele roda hoje. Vou confirmar o escopo em 24h.
Conheça mais sobre ali shah
ali shah
AI LLM Engineer RAG, Agents, LLM Ops Shopify Hydrogen
- A partir dePaquistão
- Membro desdeago. de 2026
Idiomas
Urdu, Inglês
5 years shipping production software (Systems Limited, then Contour
Software) as a backend + AI engineer. I build the unglamorous parts that
make AI products work: RAG retrieval that actually returns the right
chunk, evals that catch hallucinations before customers do, LiteLLM
gateways and Langfuse traces so you know your per-user cost, and vLLM on
your own GPU. Also custom Shopify Hydrogen storefronts.
.
Tradução automática
Meu portfólio
Outros serviços de Desenvolvimento de IA que eu ofereço
Perguntas frequentes
Tradução automática
LiteLLM, OpenRouter ou Portkey — qual eu preciso?
OpenRouter se você quer acesso gerenciado a vários modelos com infraestrutura mínima e aceita markup por token. LiteLLM auto-hospedado se você precisa de suas próprias chaves, orçamentos, localidade de dados ou markup zero por requisição. Vou recomendar o que melhor se encaixa, incluindo "mantenha o que você já tem".
Meu código de app vai precisar de reescrita?
Quase nunca. LiteLLM expõe um endpoint compatível com OpenAI, então geralmente é uma troca de base-URL e chave. Eu refatoro apenas onde retries ou streaming precisam de atenção, e mostro a diferença.
Isso rastreia o custo por cliente?
Sim — essa é a principal razão pela qual as equipes compram. Gasto por chave virtual e por tag, para você ver qual cliente ou recurso é não lucrativo. Eu modelar sua matemática de preços sob demanda como um complemento.
Auto-hospedado ou Langfuse Cloud?
Ambos funcionam. Cloud é mais rápido e eu configuro no mesmo dia; auto-hospedado mantém rastreamentos e texto de prompt dentro da sua VPC, o que importa se você lida com dados regulados. Me diga sua restrição e eu escolho.
Você consegue migrar chaves sem downtime?
Sim. Eu executo o gateway em modo sombra ao lado das chamadas diretas, verifico saídas e custos idênticos, e então faço a troca. Rollback é uma variável de ambiente, então uma implantação ruim não é um incidente.
