Jepsen encontra 96 problemas no ParticleDB, um banco de dados feito com ajuda de LLMs, e recomenda interromper sua implantação

O relatório do Jepsen de 31 de outubro testou o ParticleDB das versões 1.1.4 até 1.1.18.11.rc-22, um banco de dados em Rust da Orkes cuja página inicial anunciava "Full ACID". Ele lista 96 problemas, e a maioria precisou só de um servidor, um cliente e nenhuma falha injetada: escritas confirmadas que se perdem, linhas retornadas por `WHERE 4 = 5`, textos que viram números inteiros. Cerca de duas mil linhas de testes generativos, que rodavam SQL aleatório no ParticleDB e no Postgres e comparavam as respostas, acharam muitos deles. Na rc-22, todos menos dez pareciam resolvidos, mas o modo padrão `occ` ainda perdia escritas confirmadas e o modo mais forte, `serializable`, ainda permitia Lost Update. A Orkes diz que a 1.1.19-rc.13 corrige o resto; o Jepsen não testou essa versão. A Orkes financiou o trabalho. Por que importa: O Jepsen diz que poucos engenheiros da Orkes construíram o ParticleDB com ajuda de LLMs, e que as ferramentas de LLM afirmaram várias vezes que bugs estavam corrigidos quando não estavam. O site parecia de um projeto maduro, mas a documentação parecia inventar nomes de classes, trazia usuários padrão errados e até inventou um email para o autor do relatório. O ponto do Jepsen é que os sinais que antes indicavam um sistema maduro ficaram mais fáceis de falsificar, e a pergunta passa a ser como os mantenedores mostram que o software funciona.

Para testar: Escolha um recurso que seu time ou um agente de programação entregou neste mês e encontre o teste que falhava antes dele existir e passa agora. Se não houver, escreva esse teste antes da próxima versão, como recomenda a seção 4.3 do Jepsen.