Project

Notebook 智能知识工作台

受控 Agentic RAG 知识工作台：Adaptive-RAG 6 类路由 + CRAG 修正循环 + Evidence Grader 置信度评分 + LLM-as-judge 质量评估 + IR 标准指标评测，支持 SSE 流式、异步索引、检索参数热更新与多租户隔离。

Vue 3FastAPIDjangoLangChainChromaDBCelery

首页 · 知识工作台总览

1 / 5

Architecture

Agentic RAG 流水线

横向流水线 · 绿色虚线为证据不足时的改写重试回环

解决的问题

传统 RAG 固定检索后直接生成、索引不可观测、业务链路难验证。面向长期知识沉淀与多用户场景的全栈 Agentic RAG 系统。

个人职责

独立完成全栈开发：设计 Adaptive-RAG 流水线（6 类查询路由 + CRAG 修正）、IR 评测体系（Recall@K/MRR/四阶段归因）、检索参数热更新、多模型统一接口、SSE 流式输出、Celery 异步索引与用户/空间隔离。

技术栈

Vue 3 · FastAPI · LangChain · Django 5 · MySQL · Redis · ChromaDB · Celery · Docker · JWT · Playwright

Outcomes

成果一览

1030测试全部通过943 后端 + 12 Django + 61 前端 + 14 功能验收 · 0 failed

88%后端覆盖率三轮 31% → 88% · CI 底线 85

95.5%压测正确率102 文档 · vs 传统 RAG 92.4%

21.3s平均耗时快于传统 RAG 的 23.9s

Journey

三轮优化旅程

最终反超 +3.1pp

60.6%基线

初始不如传统 RAG

83.3%第二轮

修正分类 + 调整检索参数

95.5%第三轮

接入 Cross-Encoder 重排 + 事实类禁用 HyDE

传统 RAG 对照 92.4%

Attribution

IR 评测 · 四阶段归因

Recall@K · 108 case

BM25 修复前

0.604中文分词缺陷

BM25 修复后

0.941jieba 分词 +33.7pp

混合检索

0.970

混合+重排

0.974全模式最优

评测发现问题 → 修复 → 验证增益拒答正确率四模式全部 100%

Trade-offs

取舍决策

选择

Planner / Evidence Grader 用规则引擎

放弃

LLM 做查询分类与证据评分

因为

省一次模型调用：成本与延迟双降，阈值还支持运行时热更新

选择

评测语料与业务数据完全隔离

放弃

线上真实数据直接当评测集

因为

结论可复现，不被业务数据漂移污染，标注由 CI 守护

选择

热更新只覆盖检索期参数

放弃

索引期参数一并热更

因为

切片参数改了必须重索引，混进热更新会误导使用者

可继续追问

?Adaptive-RAG 6 类路由如何分类？
?CRAG 修正循环何时触发？
?Evidence Grader 置信度如何计算？
?LLM-as-judge 评分哪 4 个维度？

向 AI 分身提问