eu vou configurar seu servidor de IA com GPU e API privada de LLM


Sobre este Serviço
Tradução automática
Eu configuro um servidor Linux NVIDIA que oferece uma API de LLM compatível com OpenAI em hardware que você já possui.
Você recebe Ubuntu, o driver NVIDIA, um servidor de inferência local e HTTPS na frente. O modelo fica na sua máquina. Os chamadores usam um token. Eu não vendo créditos de nuvem, carteiras ou sistemas de trading.
Melhor opção: uma estação de trabalho ou um host GPU pequeno (RTX PRO, RTX 50-series ou uma placa NVIDIA similar). Envie o nome da GPU, RAM e disco antes de fazer o pedido.
Plano básico: um plano por escrito para essa máquina. Driver, se o modelo cabe, rede e o que eu não vou instalar.
Plano padrão: um host em funcionamento. Driver, inferência no localhost, proxy reverso com TLS e um token de cliente, e um runbook curto.
Plano premium: o mesmo host, mais um cronograma para a API ficar aberta apenas na sua janela, uma verificação de saúde antes de ficar pronto e uma ligação de handover.
Após o pedido começar eu preciso de SSH ou console remoto. Não preciso de logins de troca nem de chaves de wallet.
Não incluído: comprar hardware, colocation, contas de energia ou rodar a máquina após o handover. Um período de cuidado é extra.
Conheça mais sobre Eqan Ahmad
Launching your Trading Strategies to success
- A partir dePaquistão
- Membro desdeago. de 2019
- Última entrega8 meses
Idiomas
Urdu, Inglês
Tradução automática
Meu portfólio
Perguntas frequentes
Tradução automática
Você monta um data center inteiro?
Não. esse Gig é um servidor com GPU, ou um host pequeno que você já tem. Um rack com várias máquinas é uma oferta personalizada depois que eu vi a lista de hardware.
Qual modelo você instala?
Concordamos com o modelo antes do início do trabalho. Em uma placa NVIDIA de 32 GB, 27B Qwen GGUF é o ajuste usual. Não vou instalar um modelo que não caiba na GPU.
Que acesso você precisa?
Após o início do pedido: SSH ou console remoto, o modelo da GPU e o OS. Não preciso de chaves de wallet nem logins de exchange.
Quem é o dono do servidor após a entrega?
Você é. Deixo um runbook. Não fico com login a menos que você compre o extra de cuidado.
A API pode permanecer privada?
Sim. A porta de inferência fica no localhost. Os compradores acessam via HTTPS com um token, ou através de uma VPN que você já usa.

