← Notas

A revisão humana entra no projeto, não no fim dele

O framework de gestão de risco em IA do NIST trata confiabilidade como consideração de projeto ao longo de todo o ciclo — o que inclui dimensionar quem revisa o que o sistema retém.

Quando um controle automático retém material, alguém precisa decidir o que fazer com o que foi retido. Essa etapa costuma ser tratada como operação, e não como parte do sistema.

O framework de gestão de risco em IA do NIST parte de outra premissa. Ele "is intended for voluntary use and to improve the ability to incorporate trustworthiness considerations into the design, development, use, and evaluation of AI products, services, and systems" — as considerações de confiabilidade entram no desenho, no desenvolvimento, no uso e na avaliação. Não são acabamento posterior.

Aplicado ao caso da retenção, isso quer dizer que quem revisa, com que capacidade e em quanto tempo pertence à mesma conversa em que se decide o limiar do controle. Um controle mais restritivo não é apenas mais seguro; é mais caro em revisão, e essa parcela do custo precisa aparecer na decisão que o ajusta.

Para uma operação pequena, a implicação é dura e útil ao mesmo tempo. Dura porque não há outro revisor para quem empurrar a fila. Útil porque torna explícito um limite de projeto: o controle pode ser tão restritivo quanto a capacidade de revisão sustentar. Acima disso, o que se ganha em segurança se perde em material que nunca volta a circular — e a perda é silenciosa, porque nada quebra quando uma fila cresce.