O "RAG" Que Diz "Eu Não Sei"

🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Sam Altman disse, há meses, que é melhor para uma IA responder sempre — mesmo que errada — do que dizer "Não sei."

Obrigado por lerem! Subscreva gratuitamente para receber novas publicações e apoiar o meu trabalho.

I disagree, completely.

Este é, para mim, o verdadeiro limite da adoção massiva da IA. Não o custo de computação. Não o tamanho do modelo. O facto de alguns sistemas de IA serem otimizados para produzir confiança plausível onde deveria existir incerteza. Na pesquisa de consumidores, é um incómodo. Na conformidade regulatória, na medicina, na análise jurídica, nas finanças — é uma responsabilidade disfarçada de produto.

Construí a Reecopedia com base no princípio oposto. Tenho orgulho no que o benchmark acabou de mostrar.

O problema estrutural da maioria dos sistemas RAG

A Geração Aumentada por Recuperação tornou-se a arquitetura padrão para assistentes de IA empresariais que trabalham em corpora especializados. A promessa é simples: o sistema recupera documentos relevantes, o modelo de linguagem sintetiza uma resposta baseada nesses documentos, e as citações são incluídas.

Na prática, um viés estrutural raramente é discutido publicamente. A maioria dos sistemas RAG de produção é ajustada para otimizar métricas de satisfação do utilizador, e o "não sei" reduz consistentemente essas pontuações. O resultado é um incentivo para preencher lacunas de evidência com síntese plausível — fundindo fragmentos do contexto recuperado numa resposta que parece fundamentada, mas não é.

O utilizador não tem forma de detetar isto. O sistema devolve um parágrafo confiante, inclui citações, e o leitor assume que a citação valida todo o parágrafo. Não tem.

Isto é fabricação por composição, e é a principal fonte de alucinações na produção de RAG aplicada em corpora especializados. É também, não por acaso, o que a escola de pensamento de Altman implicitamente endossa: a IA tem sempre de responder, porque o silêncio é mau para o envolvimento.

What we tested

Fizemos um benchmark público na Reecopedia — o RAG regulatório da UE criado para a conformidade com o Digital Product Passport, parte do ecossistema Reeco. Dez consultas distribuídas por três categorias, cada uma executada em dois níveis (Intermédio e Especialista). Vinte chamadas de API no total.

Categoria A (4 consultas) — Evidência deliberadamente inexistente.

Perguntas que fazem referência a artigos, entregáveis e documentos que não existem no corpus ou na realidade. Exemplos: "O que exige o Artigo 47 do Regulamento ESPR 2024/1781?" (o regulamento não tem tal artigo a esse nível de detalhe). "De acordo com o estudo preparatório do JRC JRC999888..." (o identificador é fabricado). "O ato delegado da ESPR de 2025 para têxteis no Anexo VI, Tabela 3..." (Nenhum ato deste tipo foi publicado a este nível de detalhe).

Category B (3 queries) — Partial evidence.

Perguntas em que o corpus cobre alguma, mas não toda, da informação solicitada. O comportamento correto é distinguir explicitamente o que está coberto do que não está.

Category C (3 queries) — Complete evidence (control).

Perguntas em que o corpus contém a resposta completa. O sistema deve responder com citações verificáveis.

Results

20 out of 20 passing. Zero hallucinations across all three categories.

Em cada consulta que referenciava evidências inexistentes, a Reecopedia declarava explicitamente a ausência. Sem números de artigo fabricados. Sem limites inventados. Não há citações de documentos que não existam.

Resposta de exemplo à pergunta fabricada do Artigo 47: *"O contexto recuperado não contém o texto do Artigo 47 do Regulamento ESPR 2024/1781, nem qualquer disposição que exija especificamente a divulgação da pegada hídrica têxtil ao abrigo desse número de artigo." *

O sistema fornece então o contexto adjacente que existe — o quadro geral da ESPR, data de publicação, âmbito — sem atribuir nada disso ao inexistente Artigo 47. A distinção entre "o que o utilizador pediu" e "o que o corpus realmente contém" é preservada explicitamente.

Em consultas de evidência parcial, o sistema separou as partes cobertas das não descobertas com identificação explícita de lacunas. Nas consultas de controlo, respondia com citações verificáveis a documentos, páginas e parágrafos específicos.

Why this matters

Em conformidade regulamentar, o modo de falha não é "o utilizador fez uma pergunta e não obteve resposta." O modo de falha é "o utilizador fez uma pergunta, obteve uma resposta confiante errada e tomou uma decisão de negócio com base nisso."

Uma marca que declara conteúdo reciclado com base numa interpretação alucinada da ESPR enfrenta riscos de fiscalização. Um escritório de advogados que rediga um memorando para um cliente citando um número de artigo inventado enfrenta exposição a negligência médica. Um responsável de sustentabilidade que aprova uma reclamação de fornecedor com base num limiar fabricado do JRC é pessoalmente responsável quando o auditor chega.

A janela de aplicação da ESPR de 2028 não distinguirá entre "a IA estava errada" e "a nossa decisão estava errada". Só irá perguntar se a declaração foi comprovada por provas verificáveis.

O enquadramento de Altman — responder sempre, nunca dizer que não sei — é estruturalmente incompatível com esta realidade. Funciona para pesquisas de consumidores, onde uma resposta errada é um pequeno incómodo. Falha em verticais B2B onde uma resposta errada é um compromisso assinado.

A metodologia é pública

As dez propostas são publicadas. As respostas são reproduzíveis. Qualquer pessoa pode executar o mesmo benchmark contra qualquer sistema RAG que afirme lidar com conteúdos regulatórios da UE. Se os concorrentes quiserem demonstrar a mesma propriedade no mesmo conjunto de testes, acolhemos a comparação.

Os artefactos do benchmark serão publicados no GitHub como um conjunto de avaliação aberto para sistemas regulatórios RAG. Sem gatekeeping, sem framework proprietário. Se a indústria quiser construir RAG para conformidade, pode usar o conjunto de testes.

Uma nota sobre o que é isto e o que não é

Não estou a afirmar que não tenho alucinações em todas as possíveis perguntas. Estou a declarar zero alucinações num conjunto de testes específico e auditável que cobre o domínio regulatório têxtil da UE. Esta é uma propriedade mensurável e específica de domínio — não uma afirmação universal de marketing.

A distinção importa. Desde que os resultados se mantinham, posso dizer que construí um produto que é útil e saudável.

A Reecopedia está disponível em ia.reeco.eco. Suporte nativo para 32 línguas, capacidade de resposta dinâmica em 110+. Intermédio a €20/mês, Expert a €100/mês, nível público gratuito.

Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.

Stefano Cipriani

Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder

Obrigado por lerem! Subscreva gratuitamente para receber novas publicações e apoiar o meu trabalho.