~/studies/work 2026-11-12 · published 2026-11-21
Um método de pesquisa reescrito a partir das próprias falhas
O arquivo de método do research harness lista cada regra ao lado do erro que a produziu: níveis de prova, um juiz que não é o auditor e uma amostra de auditoria sorteada por um script com seed.
- research
- method
- audit
- evidence
- ~/project/versatile-sh
Uma tabela de regras e erros
O research harness tem um arquivo de método, reescrito em 2026-11-12 (commit `7575561`, um método genérico para qualquer estudo) a partir do que o primeiro loop de 2026-11-05 fez bem e mal. Uma lição de um estudo posterior foi acrescentada em 2026-11-13. Gosto do formato do arquivo: cada regra tem uma coluna com o erro que ela previne e outra com a evidência, um caminho e muitas vezes uma linha.
Abaixo estão as regras que acho que mais pesam, com os números como o arquivo os dá. São registros do harness, não medições minhas. Não rodei nenhum estudo de novo.
Níveis de prova
Toda afirmação sobre nosso próprio código ou design carrega um de três níveis.
| Nível | Significa | Evidência |
|---|---|---|
| Read | O código ou o documento diz isso | path:line em um commit fixado |
| Specified | Um contrato público cobre isso | A spec, versão, seção |
| Run | Foi executado e observado | O comando, o resultado, o commit, a data |
Uma afirmação sem nenhum dos três é uma hipótese e nunca entra como fato. O erro por trás: afirmações como substituível ou funciona offline feitas a partir da leitura. O arquivo registra que toda afirmação de runs-with-act foi rebaixada na rodada 1.
A regra que acho mais afiada é que run é estreito. Um spike precisa executar a parte da afirmação em que o valor da célula se apoia, no tipo de deploy e com o tipo de login que a célula descreve. Um spike usou um login de desenvolvimento que um deploy compartilhado por muitas organizações recusa. Quatro células caíram de partial em run para no em read, e mais três foram rebaixadas porque um spike executou uma metade de um valor de duas partes.
O juiz não é o auditor
O juiz não escreveu nenhuma proposta. O auditor não é o juiz. Um revisor recebe as fontes, nunca a conclusão. O erro por trás: em um estudo o revisor herdou o enquadramento do autor e o manteve. O mesmo estudo listou 13 seams e deixou passar conexões de modelos, um endpoint de agente e equipes, porque seu inventário partiu do código e não da pessoa que usa o resultado.
A mesma separação fecha um estudo: uma passada de fechamento tem um juiz que corrige e depois um auditor, que não é esse juiz, que confere só as correções. Sem isso, registra o arquivo, uma auditoria final é arquivada sem ação, ou um líder edita células para respondê-la.
Passadas únicas são rascunhos
A evidência do arquivo para tratar uma passada única como rascunho: a rodada 2 do primeiro loop derrubou 25 afirmações e a rodada 3 derrubou 26. Um estudo teve quatro afirmações corrigidas no mesmo dia por uma revisão. Esse loop parou na rodada 3 de 8 com três de cinco critérios falhando, e o dono o pausou.
São contagens de afirmações derrubadas, não taxas de erro. O arquivo as relata como o motivo de uma passada ser um rascunho, e eu as leio do mesmo jeito.
Amostras com seed e de onde vêm os erros
O auditor amostra em três grupos: células alteradas nesta rodada, células nunca auditadas e um sorteio do restante. Ele relata a taxa de erro por grupo. A regra de parada lê uma amostra sorteada de todo o resultado por um script com seed registrada, porque uma amostra escolhida pelo auditor, ou cheia de células recém-escritas, mede a última rodada e não o resultado.
A taxa por grupo contou a história no estudo de modularidade do studio. Enquanto só o auditor lia as linhas citadas, o erro de auditoria foi 0.227, 0.075 e 0.104 ao longo das rodadas. As células escritas sob a checagem do próprio autor, em que o autor imprime as linhas citadas e as lê contra a frase primeiro, foram auditadas em 0.043. O critério de parada é abaixo de 5 por cento em pelo menos 30 células.
Quando o erro vem de texto antigo, a rodada seguinte é uma rodada de verificação. Nesse estudo ela fez 217 reparos em 163 de 222 células e levou a taxa do mapa inteiro a 0.0375.
A última regra
A linha final do método diz que o método é emendado depois de cada estudo. Sua coluna de evidência aponta para o próprio arquivo. Entendo isso como o sentido do documento: a tabela é um log de erros com as correções anexadas.
Uma ressalva sobre o que sei. O arquivo cita evidência sob uma branch de estudo que ainda não tinha sido mergeada quando foi escrito, então alguns desses caminhos não podiam ser abertos a partir da branch principal na época. Li o método; não auditei as auditorias.