如何将RAG推理成本降低6倍：级联架构

检索增强生成（RAG）系统广泛应用于受监管行业的数据分类，因错误可能带来严重后果。然而，传统方法将所有模糊案例交由语言模型（LLM）处理，导致推理成本上升且审计复杂。模型的决策需在数月后仍具可解释性，这要求采用新的架构设计。

级联架构通过将处理流程分为三个阶段解决这些问题。第一阶段为确定性规则：精确匹配、结构化比较及明确标准的案例无需调用模型，从而减轻LLM负担并确保决策完全透明。第二阶段为上下文检索：针对模糊案例，系统查找相关文档、历史先例或类似决策。第三阶段仅对前两阶段无法解决的案例使用LLM。

此方法将推理成本降低6倍，因LLM仅处理10–15%的案例。此外，级联架构在简单任务中提升了决策稳定性，确定性规则在此类场景中更高效。对于复杂案例，需考虑风险非对称性：例如，遗漏关键案例的错误可能比误报更严重。这要求在提示词设计中明确模型优先级。

此类系统的评估与标准RAG指标不同。需单独衡量上下文检索质量和分类准确性，并在测试中考虑风险非对称性。专家反馈应整合至系统中，以持续改进复杂案例的处理能力。级联架构不是权宜之计，而是追求透明度和可靠性系统的成熟方案。