Vou otimizar seu app de LLM para menor latência e custo

C
chlee9
C
chlee9
Cheolhee Lee
Algumas informações foram traduzidas automaticamente.

Sobre este Serviço

Tradução automática

Eu otimizo aplicações de LLM que estão muito lentas ou caras.


O que já fiz em produção:

- Reduzi a latência p95 em 70% e o custo de serviço em 38% com cache de contexto, saída estruturada e roteamento de modelos

- Diminui os tokens de saída em 49% sem perder qualidade

- Acelerei endpoints de lista em 125x e uma consulta de Threads de 411ms para 1,6ms

- Realoquei três modelos de LLM e embedding para um DGX on-premise sem downtime


Como funciona:

1. Você compartilha seus prompts, rastros, configuração do modelo e seus números de latência ou custo

2. Eu faço o perfil do pipeline e envio um relatório com prioridades

3. Implemento as correções e mostro benchmarks antes e depois


Pilha: OpenAI, Anthropic, vLLM, LangChain, RAG, pgvector, Python, TypeScript, Rust, Go, AWS.


Me diga sua latência p95 atual e o gasto mensal, e eu te direi o que é realista.

Conheça mais sobre Cheolhee Lee

Cheolhee Lee

AI Full Stack Developer specializing in LLM and RAG optimization

  • A partir deCoreia do Sul
  • Membro desdeabr. de 2021
  • Idiomas

    Coreano, Inglês
I keep my employer and my clients unnamed here. I ship production AI systems end to end at an undisclosed B2B AI SaaS company - a sales-automation SaaS and a public-sector AI evaluation platform. Measured: LLM p95 latency -70%, serving cost -38%, output tokens -49% via context caching and structured output. 125x list speedup, threads query 411ms to 1.6ms, bundle 21.7MB to 2.3MB. Re-homed three LLM models to an on-prem DGX with zero downtime; passed TTA review for Korea's AI Verification program. TypeScript, Python, Rust, Go, React, PostgreSQL, AWS, RAG, vLLM, MCP.

Tradução automática

Meu portfólio

Outros serviços de Desenvolvimento de IA que eu ofereço