Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou implantar seu LLM no Kubernetes com vllm, docker e suporte a GPU
Engenheiro de voz e automação com IA, DevOps
Oi 👋 Eu sou Khuzaima Ahmed. Sou apaixonado por ajudar pequenas empresas a desbloquear o poder das automações de IA para economizar tempo, reduzir custos e manter-se competitivo.
Ajudo empresas a imp...
Nível 1
Atendeu a determinados critérios de desempenho e demonstra forte potencial no marketplace.
Responde rapidamente
Conhecido pela velocidade das respostas
Sobre este Serviço
Tem um modelo de LLM de código aberto funcionando localmente, mas precisa dele como uma API pronta para produção?
Vou ajudar você a implantar seu Hugging Face ou modelo de código aberto LLM no Kubernetes usando uma stack de implantação de IA pronta para produção: vLLM, Docker, CUDA, Deployment no Kubernetes, nós com GPU, Service, Ingress e endpoints de API compatíveis com OpenAI.
O que posso ajudar você:
- Analisar seu modelo, caso de uso e requisitos de hardware
- Selecionar um modelo compatível do Hugging Face ou personalizado
- Configurar o motor de inferência adequado: vLLM, TensorRT-LLM ou SGLang
- Empacotar o modelo, bibliotecas e runtime em um container para implantação
- Preparar os manifests do Kubernetes para seu serviço de IA
- Configurar implantação com GPU para clusters compatíveis
- Configurar Service ou Ingress para acesso à API
- Criar um endpoint compatível com OpenAI, quando suportado
- Testar o fluxo completo de requisição e resposta
- Fornecer documentação clara de entrega
Famílias de modelos suportadas podem incluir Qwen, Llama, Mistral, Gemma, DeepSeek e outros modelos compatíveis do Hugging Face.
Por favor, envie uma mensagem antes de fazer o pedido para que eu possa revisar seu modelo, provedor de nuvem, configuração do Kubernetes, disponibilidade de GPU e requisitos de implantação.
Ferramentas:
Kubernetes
•
Docker
Frameworks:
Terraform
•
Pulumi
•
Ansible
•
Crossplane
•
Outros
Linguagem de programação:
Bash
•
Vá
•
JavaScript
•
Python
•
Outros
Especialidade:
Instalação
•
Depuração
•
Configuração
Meu portfólio
Perguntas frequentes
Tradução automática
Por que devo enviar uma mensagem antes de fazer o pedido?
A implantação de LLM depende bastante do tamanho do modelo, memória de GPU, configuração do Kubernetes e requisitos da API. Enviar mensagem primeiro ajuda a confirmar compatibilidade, evitar atrasos e escolher o pacote adequado.
Você pode ajudar a escolher o modelo certo para meu hardware?
Sim. Posso revisar sua GPU, VRAM, caso de uso e metas de desempenho para sugerir um tamanho de modelo adequado e a abordagem de implantação antes de começar o projeto.
Que acesso você precisa para completar a implantação?
Posso precisar de acesso ao seu cluster Kubernetes, console de nuvem, registro de containers, repositório de modelos, detalhes do domínio ou ingress e ambiente de implantação. O acesso exato depende da sua configuração.
Você pode implantar um modelo ajustado ou personalizado?
Sim, se o modelo for compatível com o motor de inferência escolhido e seu hardware disponível. Por favor, compartilhe os detalhes do modelo antes de fazer o pedido para que eu possa confirmar a viabilidade.
Custos de nuvem, GPU ou servidor estão incluídos?
Não. Custos de nuvem, GPU, domínio, armazenamento e infraestrutura não estão incluídos no valor do gig. Você é responsável por fornecer os recursos de servidor, cluster e nuvem necessários.
Já preciso ter um cluster Kubernetes?
Sim, você deve ter acesso a um cluster Kubernetes ou ambiente de nuvem. Se ainda não tiver, envie mensagem primeiro e posso orientar sobre a configuração necessária antes da implantação.
Você fornece configuração e setup de GPU?
Posso configurar implantação com GPU no Kubernetes para clusters compatíveis. Isso pode incluir seleção de nós com GPU, configuração de recursos, setup de runtime compatível com CUDA e validação básica.
Quais modelos de LLM você pode implantar?
Posso ajudar a implantar modelos compatíveis do Hugging Face ou de código aberto, como Qwen, Llama, Mistral, Gemma, DeepSeek e similares. A compatibilidade final depende da sua GPU, VRAM, tamanho do modelo e configuração de implantação.
Você suporta vLLM, TensorRT-LLM e SGLang?
Sim. vLLM é a opção padrão para a maioria das implantações. Dependendo do seu modelo, GPU e necessidades de desempenho, também posso trabalhar com TensorRT-LLM ou SGLang para setups de inferência mais avançados.
Você fornecerá um endpoint de API compatível com OpenAI?
Sim, onde suportado pelo motor de inferência e configuração do modelo, posso expor um endpoint de API compatível com OpenAI para que seu app possa chamar o LLM privado de forma semelhante às APIs de chat padrão.
