DeepSeek abre o código do DeepInfer; gerenciamento de KV cache e balanceamento de carga ainda não são totalmente abertos

A DeepSeek afirma estar abrindo o código do DeepInfer, um framework de inferência para serviços em nuvem em larga escala que alimenta seu serviço V4.1 Flash. Ele oferece inferência distribuída, decoding especulativo, SWA bounded replay e saídas estruturadas. A DeepSeek afirma estar abrindo também o deepseek-recipe, um componente que converte entre os principais protocolos de API de LLM e sequências de tokens do modelo. Por que importa: Leia como uma liberação parcial de sistema: a DeepSeek afirma que o código de gerenciamento de KV cache e balanceamento de carga ainda não é totalmente open source porque está fortemente acoplado à sua infraestrutura interna. É uma referência útil de código e arquitetura, não evidência independente de que outra implantação igualará o desempenho do serviço da DeepSeek.