← Notas

Entre não indexar e indexar, existe o meio-termo textual

O caminho barato não é escolher entre nada e um pipeline vetorial completo: a busca textual clássica combinada com embeddings é o arranjo recomendado, e a metade textual dela não cobra por consulta.

A discussão sobre indexar costuma ser posta como binária: ou o acervo fica sem busca, ou se monta o pipeline vetorial inteiro. O material de contextual retrieval da Anthropic descreve o arranjo que a indústria usa, e ele é híbrido: "By leveraging both BM25 and embedding models, traditional RAG systems can provide more comprehensive and accurate results, balancing precise term matching with broader semantic understanding".

A parte interessante para quem tem restrição de orçamento é que as duas metades têm preços muito diferentes. A busca por termos — casamento exato de palavras, que é o que o BM25 faz — roda dentro do banco, sem chamar modelo nenhum, e portanto sem custo por consulta. Os embeddings é que têm custo, na ingestão e a cada reprocessamento.

Isso sugere uma ordem em vez de uma escolha. Começar pela metade que não cobra: busca textual sobre as notas, medindo se o que volta responde as perguntas reais que chegam. Se responder, o pipeline vetorial vira melhoria opcional em vez de pré-requisito. Se não responder, agora existe um caso concreto — a pergunta que a busca textual errou — para justificar o custo da outra metade.

O ganho dessa ordem não é técnico, é orçamentário: ela adia o gasto até que exista evidência de que ele compra alguma coisa.