← Notas

A linha de base é o que torna "escalar" uma frase com sentido

Sem medida anterior, escalar não tem critério de sucesso: não há número que diga se a mudança funcionou, e a percepção de melhora é o pior juiz disponível.

Escalar é sempre uma comparação — mais rápido que antes, mais barato por resposta que antes, aguentando mais que antes. Sem o "antes", a palavra não tem referente.

O "antes" de um chat é curto e conhecido. O tempo até o primeiro token, definido na documentação de métricas de serving como "the time elapsed between submitting a prompt and receiving the first token of the model's response", é a espera silenciosa. O tempo de geração é o que corre depois. O número de tokens de saída explica boa parte do segundo. Três valores, coletáveis com instrumentação simples, num punhado de conversas reais.

A razão para coletá-los antes não é rigor por rigor. É que a orientação pública para construir com modelos é "find the simplest solution possible, and only increasing complexity when needed", e needed é uma afirmação empírica. Sem linha de base, não existe evidência de necessidade — existe apenas a intuição de quem propõe, que é exatamente o que a regra pede para não ser o critério.

Há ainda um efeito prático de sequência. Uma linha de base tomada depois da mudança já não serve de comparação; ela vira o novo estado, e o ganho fica indemonstrável. Medir é a única etapa do projeto que não pode ser feita fora de ordem.