Nota
Cerque o acervo, não a resposta
Tudo que entra no corpus de um chat público pode sair pela boca dele. A checagem de confidencialidade que funciona acontece na entrada, documento a documento, e não num filtro correndo atrás de cada resposta.
Este site tem um chat que responde a partir de um acervo de notas públicas. RAG, no jargão. E RAG tem uma propriedade fácil de esquecer: o que o modelo consulta, alguém consegue extrair, basta pedir do jeito certo. Não existe "contexto interno" num corpus que uma conversa pública cita.
Eu trabalho como consultor. Parte do que eu sei vem com nome de cliente e de sistema interno colado. Se uma nota com um nome desses entra no acervo, o chat uma hora entrega, numa resposta que ninguém revisou, para alguém que eu nunca vou conhecer.
A tentação é filtrar a saída: revisar cada resposta do modelo antes de mostrar. Filtro de saída corre atrás de paráfrase em tempo real e falha em silêncio. O falso negativo não avisa que passou.
A decisão aqui foi cercar a entrada. Nenhuma nota entra no acervo sem passar por uma checagem contra uma lista de termos vetados: nomes de sistemas, clientes e produtos que não são meus para citar. É um julgamento por nota, offline, com veredito e motivo citável. Nota retida sabe exatamente por quê.
Dois detalhes fazem essa cerca valer alguma coisa. Primeiro, a lista mora fora do repositório. Uma lista de nomes confidenciais é, ela própria, confidencial; versionar seria o vazamento que ela existe para evitar. Segundo, a checagem é fail-closed: lista ausente, ilegível ou vazia retém tudo. Erro de ambiente nunca vira permissão.
A cerca não é impermeável, e isso está assumido desde o início: busca por termo não pega paráfrase. Quem pega paráfrase sou eu, relendo cada nota antes de ela ir ao ar. A cerca existe para essa leitura nunca ser a única proteção.
Corpus limpo na entrada deixa a saída limpa por construção. Julgar cada documento uma vez, com calma, custa menos que policiar cada resposta em tempo real. E quando falha, falha alto, com motivo, em vez de falhar em silêncio na frente de um estranho.