O FlashProve da Anthropic prova quais pesos comprometidos geraram a saída de um modelo, com um token conferido por prova

O Frontier Red Team da Anthropic e coautores da EPFL e do MIT publicaram em 2 de novembro o FlashProve, um protótipo de pesquisa sob licença Apache 2.0 para inferência comprovável. Primeiro, o provedor publica um compromisso com os pesos do modelo, uma impressão digital curta que mantém os pesos ocultos. Depois, para cada pedido, gera uma prova zkSNARK da afirmação "The committed model produces these output tokens when evaluated" (o modelo comprometido produz estes tokens de saída quando executado). No Llama 4 Maverick (mixture of experts com 400B de parâmetros, pesos em 4 bits), uma H100 provou um lote de 24 pedidos em cerca de 223 segundos, ou 110 tokens por segundo, com 18,78 MB por prova. Cada pedido era uma janela de 1.024 tokens e cada prova conferia um token. O cliente baixa o compromisso de ~6,5 MB e confere uma prova em 17 segundos com 24 threads de CPU. Por GPU, provar levou cerca de 72 vezes o tempo que o vLLM precisou para os mesmos 24 pedidos, e cerca de 94 vezes na carga mais alta testada no vLLM. A Anthropic diz que o Claude produziu melhorias em zkSNARKs para inferência e construiu um sistema muito mais rápido que os sistemas open source anteriores. O pacote inclui um verificador rápido em C++, um verificador em Lean e provas em Lean das propriedades de segurança. Por que importa: Quando você chama um modelo por uma API ou por um revendedor, não tem como conferir se o modelo escolhido foi o que respondeu. Um roteador pode trocar por um modelo mais barato, e um atacante pode adulterar a resposta. O FlashProve mostra um jeito de conferir isso, em um modelo aberto grande, sem que o provedor entregue os pesos. O protótipo tem limites estreitos. Ele só funciona com modelos mixture of experts, contextos de até 1.024 tokens e decodificação gulosa, e a Anthropic não garante que o código rápido em C++ corresponda às provas em Lean. O repositório no GitHub se descreve como "Not maintained" (sem manutenção), e o TechCrunch informa que não há planos de implantá-lo na Anthropic nem em outro laboratório. A Anthropic diz que cumpriu sua própria meta de 30 de setembro para isso com um projeto separado, que assina o tráfego e recalcula a inferência em um servidor confiável.

Para testar: Escolha um modelo que você acessa por um roteador ou revendedor. Verifique se a documentação desse provedor oferece alguma prova de qual modelo respondeu, além do nome do modelo na resposta. Depois abra o repositório do FlashProve e liste o que um provedor teria de publicar para você conferir uma resposta: um compromisso com os pesos e uma prova por pedido. Para ver um verificador rodando, siga a rota 1 do repositório. Ela compila o cp_verify e confere uma prova de exemplo salva em uma CPU com menos de 2 GB de RAM, e o README diz que esse exemplo usa um modelo sintético pequeno, então só mostra que o verificador funciona.