Vou configurar a inferência para seus modelos de código aberto

R
rickymuchiri
R
rickymuchiri
Erick
5,0
5,0
Algumas informações foram traduzidas automaticamente.

Sobre este Serviço

Tradução automática

Eu vou construir a inferência para seus modelos de código aberto usando motores como TensorRT-LLM, vLLM e sGLang. Para fluxos de baixa latência, vou ajudar você a alcançar baixa latência por meio de métodos como quantização, compilação de modelo, batching e streaming. Também vou configurar medidas de segurança para seus endpoints de inferência com chaves de API e suporte a RAG para ajudar a anexar documentos aos seus prompts. Este serviço é inclusivo para ambiente on premises e na nuvem, tanto em CPU quanto em GPUs.

Conheça mais sobre Erick

Erick

Selfhosted solutions

4,9(10)
  • A partir deQuênia
  • Membro desdeset. de 2022
  • Responde em aprox.:19 horas
  • Última entrega3 meses
  • Idiomas

    Inglês, Suaíli
I'm Erick, a Software Engineer and System Administrator specializing in self-hosted solutions. I deploy and manage secure server environments to help businesses operate independently from third-party SaaS platforms. My expertise includes Linux server administration, Docker containerization, virtualization with Proxmox, and VPN configuration using Tailscale, Wireguard and OpenVPN. I set up, troubleshoot, and optimize self-hosted services, ensuring efficient and reliable infrastructures tailored to your needs. I also provide Twilio services to help businesses efficiently reach out to customers.

Tradução automática

Avaliações

1 avaliações deste Serviço
5,0

(1)
(0)
(0)
(0)
(0)
Classificação detalhada
  • Nível de comunicação do freelancer
    5
  • Qualidade da entrega
    5
  • Valor da entrega
    5
Ordenar por
Mais relevante
  • B

    benrudidi82

    CM

    Camarões

    Colaboração contínua
    5

    for me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...

    US$ 50-US$ 100

    $

    4 dias

    Tempo

    Útil?
    Sim
    Não
Avaliações

1 avaliações deste Serviço
5,0

(1)
(0)
(0)
(0)
(0)
Classificação detalhada
  • Nível de comunicação do freelancer
    5
  • Qualidade da entrega
    5
  • Valor da entrega
    5
Ordenar por
Mais relevante
  • B

    benrudidi82

    CM

    Camarões

    Colaboração contínua
    5

    for me it is difficult to find people like that I feel very confident working with him, he is very professional, he understands very quickly, he complies with all my requirements, he does things in a professional manner, despite the fact that I do not speak English, he adapts to the French, to the point...

    US$ 50-US$ 100

    $

    4 dias

    Tempo

    Útil?
    Sim
    Não