colibri 2.1 roda modelos de mistura de experts maiores que a sua RAM lendo os experts do disco

O colibri é um motor de inferência em C, sob licença Apache-2.0, feito para modelos de mistura de experts (MoE). Cada token usa só alguns experts, então ele mantém na RAM a parte do modelo que é sempre usada e lê os outros experts do disco quando o modelo pede. A v2.1.0 (31 de outubro) importa arquivos GGUF publicados com `coli import` e os roda sem conversão em CPU, Vulkan e CUDA, e adiciona o Mistral-Large-4 entre outros modelos. Na máquina de testes do projeto (62 GB de RAM e uma placa de 24 GB), o Qwen3.6-35B-A3B gera 104,8 tokens/s em CUDA; um arquivo de 594 GB do Kimi K3, servido por dois SSDs NVMe, gera 0,349 tokens/s. Por que importa: Rodar um modelo por conta própria normalmente exige que ele caiba na memória. O colibri afrouxa esse limite para modelos de mistura de experts ao deixar a maior parte do modelo no disco. Isso torna possível rodar modelos abertos muito grandes, de forma local e privada, numa única estação de trabalho com SSDs NVMe rápidos. O custo é a velocidade: os maiores modelos da tabela da versão geram menos de dois tokens por segundo.

Para testar: Clone o repositório e rode `./start-here.sh --list`. Ele compara cada modelo com a RAM, o disco e a GPU da sua máquina e diz por que cada um cabe ou não, antes de você baixar qualquer coisa.