Goodhart's law
expressãocultura de operaçõesgovernança e risco
'Quando uma medida vira meta, deixa de ser uma boa medida.'
O economista Charles Goodhart observou o efeito na política monetária de 1975; a antropóloga Marilyn Strathern deu a formulação moderna e certeira. A engenharia vive isso todo dia: otimize o número de chamados fechados e a qualidade morre, otimize a cobertura de linhas e os testes param de verificar, otimize a velocity e as estimativas incham. Toda métrica que vale gerenciar vale burlar, então emparelhe cada meta com o comportamento que ela deveria representar.
Quando uma medida vira meta, ela deixa de ser uma boa medida. Charles Goodhart escreveu isso sobre política monetária, e o mecanismo se generaliza a qualquer coisa medida: no momento em que as pessoas são recompensadas por um número, elas otimizam o número, e a correlação dele com aquilo que você de fato queria enfraquece.
O software fornece exemplos sem fim. Meça cobertura de testes e você terá testes que executam código sem verificar nada. Meça chamados fechados e as questões se dividem, ou são fechadas como comportamento esperado. Meça linhas de código e você terá verborragia; meça velocidade e as estimativas inflam silenciosamente até o gráfico parecer saudável. Em cada caso ninguém está exatamente trapaceando, estão respondendo ao incentivo que foi definido.
A conclusão desconfortável é que não existe métrica imune a isso, apenas métricas ainda não importantes o bastante para distorcer. Existem defesas parciais: usar várias medidas difíceis de burlar simultaneamente, tratar métricas como convite à conversa e não como veredito, e manter o número longe da remuneração. A salvaguarda mais confiável é perguntar que comportamento esta medida produziria se alguém a otimizasse sem escrúpulos, antes de publicá-la.