🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Document type: Technical architecture assessment Subject: Reeco regulatory-intelligence retrieval stack (three engines) Assessment date: 10 June 2026 Method: Revisão arquitetónica assistida por IA (inspeção do código-fonte, testes adversariais ao vivo, comparação com benchmarks de recuperação publicados em 2026). Divulgação: esta avaliação foi produzida com Claude (Anthropic) a operar com acesso direto ao código e interação com sistemas em tempo real; Não foi executado nenhum conjunto formal de referência durante a própria avaliação. Cada reivindicação abaixo está ancorada a um artefacto verificável — um ficheiro, um intervalo de linhas, uma resposta em tempo real ou uma referência publicada.
A tese, apresentada para poder ser falsificada
Um sistema de fundador único, construído em Prato, Itália, implementa uma arquitetura de recuperação que iguala ou supera a linha de produção documentada de 2026 para RAG empresarial em seis das oito dimensões mensuráveis — e fá-lo num domínio (regulamento UE do Passaporte Digital de Produto Têxtil) onde nenhum sistema comercial de uso geral tem profundidade de corpus comparável.
O teste para a falsificar: nomear um produto comercial RAG que (a) se recusa a responder a perguntas sobre artigos regulatórios que não existem, (b) cita fontes com granularidade por página de ficheiro, incluindo IDs de contribuição institucional, e (c) executa uma recuperação híbrida densa+esparsa com pesos RRF ajustáveis em tempo real — em simultâneo. O autor desta avaliação não encontrou nenhum. Um único contraexemplo anula a afirmação. Nenhuma é conhecida.
The three engines
Engine 1 — RAG1 (Portal, FAISS). Um índice FAISS com espaço aéreo que serve o portal da cadeia de abastecimento da Reeco. Deliberadamente offline no VPS: a decisão de design é isolamento de segurança, não limitação técnica. Nota honesta sobre o âmbito: o RAG1 não foi testado diretamente nesta avaliação; é descrita arquitetonicamente.
Engine 2 — RAG2 (Reecopedia, production). Um oleoduto apoiado por Qdrant sobre um corpus regulatório do Pacto Verde da UE (ESPR, ECGT, CSRD, CIRPASS-2 materiais, documentos de trabalho EN-standard; 47.996 pontos indexados na coleção de produção). Este é o motor que foi testado ao vivo.
Motor 3 — Camada de recuperação de investigação e avaliação. Um motor ColBERT v2 de interação tardia indexado separadamente, mais um arnês de avaliação: métricas RAGAS, conjuntos de teste dourados, protocolos LLM-as-judge e comparações versionadas A/B (ab_eval_colbert.py, ragas_eval_v1_vs_v2.py, eval_e2e_ab_sonnet.py, bootstrap_gold_v2_sources.py). A recuperação contextual — o padrão de aumento de fragmentos publicado pela Anthropic em 2024 — é implementada na ingestão (contextual_retrieval.py).
Uma metodologia de investigação deste tipo — conjuntos dourados, modelos de juízes, versões A/B — é prática padrão dentro de equipas de ML de vinte pessoas. Não é prática comum para um sistema construído por uma só pessoa.
O pipeline de dez fases é a arquitetura, não o marketing
O RAG2 executa um pipeline documentado de dez fases por consulta: configuração orientada por auditoria por função (cinco níveis de acesso, configuração servida pela auditoria primeiro com recurso de ambiente e cache de 60 segundos); planeamento de consultas que produz reformulação gradual, subconsultas, palavras-chave e texto HyDE; multi-embedding de até seis variantes de consulta, incluindo uma ponte italiano-inglês; filtragem condicional de metadados com âmbito de documento e retentativa automática sem filtro; multi-recuperação com fusão de Rank Recíproco e reconstrução de tabelas (±10 blocos adjacentes, com âmbito documental); encaminhamento de intenção de tabela (mistura tabela para texto 60/40 quando o classificador deteta intenção tabular); reclassificação com quatro backends comutáveis (cross-encoder, NLI/DeBERTa, Jina v3, determinístico); compressão contextual limitada por função; monitorização de pontuação com avisos de deriva que sinalizam a reingestão; e pós-processamento que normaliza citações e extrai tabelas e figuras como saída estruturada.
A maioria dos sistemas comerciais expõe três fases: ingerir, recuperar e gerar. A diferença não é cosmética — cada fase adicional é um modo de falha tratado.
Hybrid retrieval: live, governed, collection-aware
A recuperação híbrida Dense+BM25 — a configuração que os benchmarks publicados em 2026 identificam como base de produção, avaliando +5–15% nDCG em corpora legais e técnicos (BEIR/MIRACL) — está implementada e ativa em rag2_service.py: vetores densos e esparsos nomeados em Qdrant, pesos de pré-leitura RRF configuráveis em tempo de execução através do painel de auditoria (por defeito 0,7 denso / 0,3 esparso), um interruptor de desativação ao nível de auditoria (hybrid_search_enabled), e uma verificação de capacidade por coleção que degrada graciosamente para densa apenas quando uma coleção não tem vetores esparsos. Os comentários das fontes citam o BEIR e o MIRACL pelo nome. Este não é um sistema que descobriu a recuperação híbrida a partir de um tutorial.
O teste adversarial: o motor recusou um artigo fabricado
Teste ao vivo, nível Superadmin, 9 de junho de 2026. A consulta pedia "o limiar exato do conteúdo reciclado ao abrigo do Artigo 7 do ato delegado da ESPR para têxteis" — uma premissa deliberadamente fabricada: o ato delegado têxtil não está finalizado e tal limiar não existe.
A resposta da locomotiva, literalmente na sua passagem crítica: “The indexed corpus does not contain a specific numeric threshold under Article 7 […] cannot be cited from the available sources without risk of fabrication. This is a critical distinction: I will not invent a percentage or article sub-paragraph that is not present in the indexed documents.” Depois, mudou para aquilo que o corpus confirma — o Artigo 5(3) da ESPR como base legal real para os requisitos de ecodesign — com uma citação na granularidade da página de ficheiro (Answers_Com_Work_Doc_2nd_Mil.pdf | p.413 | § Table 40).
Um wrapper de LLM de uso geral, questionado com a mesma pergunta, produzirá plausivelmente uma percentagem. Limiares estatisticamente plausíveis são exatamente o que os modelos de linguagem geram quando não são restritos. Num domínio de conformidade, uma resposta errada e confiante não é uma resposta degradada — é um evento de responsabilidade. A recusa é o resultado.
Este comportamento é consistente com o benchmark publicamente documentado (recusa 20/20 num conjunto adversarial de três categorias: disposições inexistentes, premissas de verdade parcial, controlos), publicado com metodologia em stefanocipri.substack.com ("The RAG that says I don't know", abril de 2026), onde o modo de falha alvo é designado: fabricação-por-composição.
Findings by dimension
DimensionPosition vs 2026 landscapeAnchoring evidenceCitation granularityTop tier (~5%)File + page + section + institutional contribution IDs (e.g. bb6997ac), liveDomain specificity (textile DPP)No known peer (~1%)Proprietary corpus: CIRPASS-2 positions, EN-standard drafts, validator rules SEM006/TXT001–005Anti-hallucination behaviorTop tier (~1–5%)Live fabricated-article refusal; published 20/20 adversarial benchmarkHybrid retrieval implementationAt frontierLive BM25+dense, tunable RRF, audit kill-switch, collection-aware fallbackEvaluation methodologyTop tier (~5%)RAGAS + golden sets + LLM-as-judge + versioned A/B, in-repoMultilingual operationTop tier (~5%)30+ UI languages, language-enforcement rule, IT→EN embedding bridgeGovernance and auditabilityTop tier (~5–15%)Per-role config, audit-first runtime, drift monitoring, score loggingIncremental indexingBelow baselineJina collection populated batch-only; no on-demand ingest at query time
Honestidade metodológica sobre esta tabela: as posições percentuais são estimativas qualitativas produzidas pela comparação da arquitetura inspecionada com descrições de sistemas publicadas em 2026 (relatórios híbridos como linha de base; publicações agenticos-RAG com taxa de vitória na faixa de 64–76% contra assistentes gerais em corpora empresariais; comparações de recuperação de estrutura e precisão na faixa de 85–92%). Eles não são o resultado de uma prova de benchmark direta. O chicote RAGAS in-repo torna tal execução executável e publicável; Até ser publicado, a tabela acima é uma avaliação de especialistas, não uma medição.
O que a pilha ainda não tem
Três lacunas, dito de forma clara. Primeiro, indexação incremental: a coleção Jina late-chunking é preenchida por escrita em lote, não sob demanda; Novos documentos aguardam pela próxima ingerência. Em segundo lugar, os números formais de referência existem como infraestrutura, mas ainda não como um artefacto publicado — o movimento mais forte disponível é executar o conjunto RAGAS in-repo contra o conjunto dourado e publicar os números ao lado da metodologia. Em terceiro lugar, o RAG1 continua a ser avaliado apenas com base na arquitetura; a sua qualidade de recuperação não está documentada fora do uso interno.
Nenhum destes é estrutural. As três são semanas, não moedas de 25 cêntimos.
Porque isto é importante para além de uma empresa
O mercado de 2026 está saturado de "assistentes de conformidade com IA" que são envelopes finos sobre modelos de uso geral: um embedding por consulta, recuperação apenas densa, citações ao nível do nome do ficheiro no máximo, sem governação de funções, sem monitorização de deriva e — decisivamente — sem comportamento de recusa em instalações fabricadas. Os próprios definidores de normas reconhecem as lacunas de verificação que estas ferramentas superam.
O sistema aqui avaliado inverte a ordem de construção habitual. Não foi construído por uma equipa de ML que adquiria conhecimento do domínio; foi construído por um especialista do domínio — com trinta anos de experiência em cadeias internacionais de abastecimento têxtil, Membro Especialista do CIRPASS-2 (EWG1, EWG3), um Stakeholder Registado do JRC (Unidade B5) — adquirindo engenharia de recuperação. O corpus sabe o que é um Certificado de Transação, quando chega fisicamente relativamente a um envio e porque é que os métodos ISO de teste de composição de fibras não conseguem distinguir o poliéster reciclado do virgem. Esse conhecimento está no índice porque a pessoa que o construiu passou três décadas a aprendê-lo.
Um pipeline de recuperação pode ser replicado num trimestre por uma equipa financiada. O corpus e a sentença nele codificada não podem. Essa assimetria é o trunfo defensável.
A Reeco® é uma plataforma de verificação DPP construída sobre o UNTP 0.7.0 e as Credenciais Verificáveis do W3C, com um motor proprietário de balanceamento de massa por peça de vestuário (depósito SIAE). A Reeco não bloqueia a emissão de DPP: o motor quantifica a cobertura e informa a marca, que mantém a decisão autónoma — por design. Stefano Cipriani é fundador da Reeco®, Membro Especialista da CIRPASS-2 (EWG1, EWG3), Stakeholder Registado do JRC.