Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou implantar IA local com vllm em qualquer nuvem ou seu próprio servidor
Engenheiro de software, leitor e pesquisador
Entrei na área de tecnologia há sete anos. Primeiro, construí pipelines de dados. Depois, trabalhei com fusão de sensores para veículos autônomos (ego). Após isso, trabalhei para empresas americanas n...
Sobre este Serviço
Se você usa LLMs em grande escala ou trabalha em uma indústria regulamentada ou se preocupa com privacidade, então você precisa ter o IA. Eu desplogo e otimizo LLMs/vision-llms/modelos de deep learning totalmente na SUA infraestrutura.
O QUE VOCÊ RECEBE
- vLLM, SGLang, Ollama, llama.cpp e MLX servindo
- Endpoint de API compatível com OpenAI/Anthropic
- Quantização ajustada ao seu hardware
- TTFT P99, throughput e ajuste de batch-size para atender aos seus SLOs
- KV-cache e cache de prefixo
- Decodificação especulativa e pré-preenchimento em chunks para maior velocidade
- NVIDIA CUDA, AMD ROCm, Apple Silicon ou apenas CPU
- AWS, GCP, Azure, RunPod, Lambda ou seu próprio servidor
- Testado sob carga: latência P50/P99, tokens por segundo, máxima concorrência
TAMBÉM DISPONÍVEL
- IA no navegador com WebLLM (MLC)
- Voz no dispositivo iOS/Android e faster-whisper
Inferência rápida é um equilíbrio: TTFT, tokens por segundo e usuários simultâneos competem pela mesma VRAM. Eu ajusto de acordo com seus SLOs.
Perguntas frequentes
Tradução automática
Qual motor de inferência devo escolher?
Depende da sua carga: Ollama para equipes pequenas (~10 usuários), vLLM para throughput de produção, SGLang para cargas de trabalho multi-turn/agent. Avalio seu caso antes de você fazer o pedido.
Qual hardware você suporta?
NVIDIA CUDA, AMD ROCm, Vulkan, Apple MLX e servidores apenas com CPU. A geração do hardware importa. Ampere, Hopper e Blackwell são diferentes.
Você pode implantar em dispositivos móveis ou no navegador?
Sim. No navegador via WebLLM. No dispositivo iOS/Android apenas para modelos suportados.
Qual será a velocidade do meu modelo?
Velocidade é uma troca de três fatores: tempo até o primeiro token, tokens por segundo e quantos usuários cabem na memória. Você não consegue maximizar os três ao mesmo tempo. Me diga suas restrições e eu ajustarei o motor para equilibrar tudo.
