Vou instalar ollama e abrir o webui em um vps auto-hospedado como um servidor de IA privado e seguro


Sobre este Serviço
Tradução automática
Se você quer um chat estilo ChatGPT sem enviar dados da empresa para ninguém, você roda o modelo na sua própria máquina. É isso que este serviço faz.
Eu instalo Ollama com a interface Open WebUI no seu servidor, no seu domínio com SSL, e configuro contas de usuário para que sua equipe faça login corretamente, ao invés de compartilhar um link.
O que você vai ter:
Uma interface de chat privada no seu próprio endereço, modelos baixados e prontos para usar, e um servidor que reinicia de forma limpa e permanece atualizado. No pacote Standard, eu instalo drivers NVIDIA e CUDA se seu servidor tiver uma GPU, o que faz toda a diferença entre respostas rápidas e respostas lentas.
Serei honesto com você sobre o hardware antes de você gastar dinheiro. Modelos pequenos rodam de forma aceitável na CPU. Qualquer coisa na faixa de 30B precisa de uma GPU de verdade. Me envie as especificações do seu servidor e eu te digo o que realmente vai rodar nele, ao invés de vender um pacote que vai te decepcionar.
O pacote avançado adiciona um endpoint de API que seus próprios apps podem chamar, e upload de documentos para você fazer perguntas contra seus próprios arquivos.
Me envie uma mensagem com suas especificações primeiro, se você não tiver certeza.
Conheça mais sobre Mehmud
Server and Email Migration, n8n, Docker and Self Hosted AI Setup
- A partir dePaquistão
- Membro desdejun. de 2016
- Última entrega2 anos
Idiomas
Urdu, Inglês
Tradução automática
Perguntas frequentes
Tradução automática
Que servidor eu preciso para isso?
Para modelos de 7B a 8B na CPU, o mínimo viável é 4 vCPU e 16 GB de RAM. Para modelos maiores ou respostas rápidas, você precisa de uma GPU NVIDIA com 16 GB ou mais de VRAM. Me envie o que você tem e eu te dou uma resposta direta antes de você fazer o pedido.
Quais modelos você pode instalar?
Qualquer coisa na biblioteca Ollama: Llama, Mistral, Qwen, Gemma, DeepSeek e outros. Me diga para que você quer e eu sugiro um tamanho que se encaixe no seu hardware.
Meus dados são realmente privados?
Sim. O modelo roda na sua máquina e nada é enviado para um provedor externo. Não há chaves de API para OpenAI ou qualquer outro. Essa é a principal razão para hospedar localmente ao invés de usar um serviço hospedado.
Minha equipe toda pode usar?
Sim. O Open WebUI tem contas de usuário e controles de administrador adequados, então as pessoas fazem login com suas próprias credenciais ao invés de compartilhar um link. Configurei isso nos pacotes Standard e Advanced.

