Vou otimizar seu app de LLM para menor latência e custo


Sobre este Serviço
Tradução automática
Eu otimizo aplicações de LLM que estão muito lentas ou caras.
O que já fiz em produção:
- Reduzi a latência p95 em 70% e o custo de serviço em 38% com cache de contexto, saída estruturada e roteamento de modelos
- Diminui os tokens de saída em 49% sem perder qualidade
- Acelerei endpoints de lista em 125x e uma consulta de Threads de 411ms para 1,6ms
- Realoquei três modelos de LLM e embedding para um DGX on-premise sem downtime
Como funciona:
1. Você compartilha seus prompts, rastros, configuração do modelo e seus números de latência ou custo
2. Eu faço o perfil do pipeline e envio um relatório com prioridades
3. Implemento as correções e mostro benchmarks antes e depois
Pilha: OpenAI, Anthropic, vLLM, LangChain, RAG, pgvector, Python, TypeScript, Rust, Go, AWS.
Me diga sua latência p95 atual e o gasto mensal, e eu te direi o que é realista.
Conheça mais sobre Cheolhee Lee
AI Full Stack Developer specializing in LLM and RAG optimization
- A partir deCoreia do Sul
- Membro desdeabr. de 2021
Idiomas
Coreano, Inglês
Tradução automática
