Ver categorias
Explorar
Fiverr Pro
Português
$
USD
Vou implantar seu LLM no Kubernetes com vllm, docker e suporte a GPU
Engenheiro de voz e automação com IA, DevOps
Oi 👋 sou o Khuzaima, um desenvolvedor de IA, automação e full-stack que ajuda startups e empresas a transformar ideias em produtos de IA funcionais e sistemas automatizados.
Eu crio MVPs de SaaS de ...
Nível 1
Atendeu a determinados critérios de desempenho e demonstra forte potencial no marketplace.
Sobre este Serviço
Tem um modelo de LLM de código aberto funcionando localmente, mas precisa dele como uma API pronta para produção?
Vou ajudar você a implantar seu Hugging Face ou modelo de código aberto LLM no Kubernetes usando uma stack de implantação de IA pronta para produção: vLLM, Docker, CUDA, Deployment no Kubernetes, nós com GPU, Service, Ingress e endpoints de API compatíveis com OpenAI.
O que posso ajudar você:
- Analisar seu modelo, caso de uso e requisitos de hardware
- Selecionar um modelo compatível do Hugging Face ou personalizado
- Configurar o motor de inferência adequado: vLLM, TensorRT-LLM ou SGLang
- Empacotar o modelo, bibliotecas e runtime em um container para implantação
- Preparar os manifests do Kubernetes para seu serviço de IA
- Configurar implantação com GPU para clusters compatíveis
- Configurar Service ou Ingress para acesso à API
- Criar um endpoint compatível com OpenAI, quando suportado
- Testar o fluxo completo de requisição e resposta
- Fornecer documentação clara de entrega
Famílias de modelos suportadas podem incluir Qwen, Llama, Mistral, Gemma, DeepSeek e outros modelos compatíveis do Hugging Face.
Por favor, envie uma mensagem antes de fazer o pedido para que eu possa revisar seu modelo, provedor de nuvem, configuração do Kubernetes, disponibilidade de GPU e requisitos de implantação.
Ferramentas:
Kubernetes
•
Docker
Frameworks:
Terraform
•
Pulumi
•
Ansible
•
Crossplane
•
Outros
Linguagem de programação:
Bash
•
Vá
•
JavaScript
•
Python
•
Outros
Especialidade:
Instalação
•
Depuração
•
Configuração
Meu portfólio
Perguntas frequentes
Tradução automática
Por que devo enviar uma mensagem antes de fazer o pedido?
A implantação de LLM depende bastante do tamanho do modelo, memória de GPU, configuração do Kubernetes e requisitos da API. Enviar mensagem primeiro ajuda a confirmar compatibilidade, evitar atrasos e escolher o pacote adequado.
Você pode ajudar a escolher o modelo certo para meu hardware?
Sim. Posso revisar sua GPU, VRAM, caso de uso e metas de desempenho para sugerir um tamanho de modelo adequado e a abordagem de implantação antes de começar o projeto.
Que acesso você precisa para completar a implantação?
Posso precisar de acesso ao seu cluster Kubernetes, console de nuvem, registro de containers, repositório de modelos, detalhes do domínio ou ingress e ambiente de implantação. O acesso exato depende da sua configuração.
Você pode implantar um modelo ajustado ou personalizado?
Sim, se o modelo for compatível com o motor de inferência escolhido e seu hardware disponível. Por favor, compartilhe os detalhes do modelo antes de fazer o pedido para que eu possa confirmar a viabilidade.
Custos de nuvem, GPU ou servidor estão incluídos?
Não. Custos de nuvem, GPU, domínio, armazenamento e infraestrutura não estão incluídos no valor do gig. Você é responsável por fornecer os recursos de servidor, cluster e nuvem necessários.
Já preciso ter um cluster Kubernetes?
Sim, você deve ter acesso a um cluster Kubernetes ou ambiente de nuvem. Se ainda não tiver, envie mensagem primeiro e posso orientar sobre a configuração necessária antes da implantação.
Você fornece configuração e setup de GPU?
Posso configurar implantação com GPU no Kubernetes para clusters compatíveis. Isso pode incluir seleção de nós com GPU, configuração de recursos, setup de runtime compatível com CUDA e validação básica.
Quais modelos de LLM você pode implantar?
Posso ajudar a implantar modelos compatíveis do Hugging Face ou de código aberto, como Qwen, Llama, Mistral, Gemma, DeepSeek e similares. A compatibilidade final depende da sua GPU, VRAM, tamanho do modelo e configuração de implantação.
Você suporta vLLM, TensorRT-LLM e SGLang?
Sim. vLLM é a opção padrão para a maioria das implantações. Dependendo do seu modelo, GPU e necessidades de desempenho, também posso trabalhar com TensorRT-LLM ou SGLang para setups de inferência mais avançados.
Você fornecerá um endpoint de API compatível com OpenAI?
Sim, onde suportado pelo motor de inferência e configuração do modelo, posso expor um endpoint de API compatível com OpenAI para que seu app possa chamar o LLM privado de forma semelhante às APIs de chat padrão.
