Vou construir mistura de especialistas, raciocínio cot, quantização de LLMs

A maioria das pessoas que criam "projetos de LLM" estão chamando a API da OpenAI e envolvendo ela em uma interface de chatbot. Isso não é engenharia de LLM, é encanamento.

Eu trabalho por trás das cenas: arquitetura, raciocínio e otimização. Se você precisa de algo além de um wrapper de prompt, esse é o serviço.

O que eu realmente construo:

Mistura de Especialistas (MoE) roteamento de especialistas esparsos, redes de gating, perdas de balanceamento de carga, camadas MoE personalizadas construídas do zero ou ajustadas em arquiteturas existentes

Raciocínio Chain-of-Thought pipelines de prompting CoT/ToT, decodificação de auto-consistência, destilação de raciocínio em modelos menores, verificação de passos e raciocínio guiado por recompensa

Quantização quantização INT8/INT4, GPTQ, AWQ, QLoRA, conversão GGUF para implantação local/edge, avaliação de tradeoffs entre precisão e velocidade antes de você decidir a configuração

Também coberto: ajuste fino (LoRA/QLoRA), compressão de modelos, otimização de inferência e implantação em hardware restrito.

Por que isso importa:

Um modelo que raciocina bem, mas não consegue rodar no seu hardware, é inútil. Um modelo quantizado, rápido mas burro, é pior. Eu construo pensando na restrição real que você está resolvendo: custo, latência, precisão ou os três, não só o que está em alta no Twitter.