Um fornecedor entregou a avaliação de impacto de um programa de desenvolvimento econômico feito em parceria com prefeituras. Fui chamada para validá-la. O trabalho acabou sendo outro: mostrar à alta direção o que os dados permitiam afirmar e o que não permitiam.
O pedido era simples: conferir um relatório de impacto produzido por uma consultoria externa antes que ele fosse usado. Na prática, a pergunta implícita era se a organização podia confiar naqueles números para decidir sobre o programa e sobre o próprio contrato de avaliação.
Ao revisar o método, encontrei inconsistências metodológicas e técnicas que comprometiam as conclusões.
Apontar falhas resolveria só metade do problema. Quem decide ficaria sem relatório confiável e sem alternativa. Por isso troquei "o relatório está certo?" por outra pergunta: com os dados que temos, o que é possível afirmar sobre a relação entre a participação no programa e os indicadores econômicos dos municípios, e com que grau de confiança?
Construímos a análise alternativa em conjunto com a área responsável pelo programa, que conhecia a operação e os municípios.
O trabalho foi apresentado à alta direção e subsidiou a decisão de não dar continuidade ao contrato de avaliação.
O resultado que mais me marcou foi outro: conseguir deixar o problema claro para quem precisava decidir. Uma crítica técnica correta, sozinha, não teria mudado nada.
Uma crítica de método só muda uma decisão quando chega junto com uma alternativa que o decisor consegue usar.