引言
通用大模型虽然知识面广,但面对企业内部文档、产品手册、专属政策时,常常会“一本正经地胡说八道”。检索增强生成(Retrieval-Augmented Generation,RAG) 正是解决这一痛点的核心技术——它让 AI 先查阅你提供的知识库,再根据查到的内容回答问题,从而大幅提升准确性和可信度。
本教程将深入讲解 RAG 的原理、如何在平台中创建并优化一个 RAG Skill,以及让检索效果“质变”的调优技巧。即便没有算法基础,也能跟着步骤搭建出生产级的问答能力。
第一章:深入理解 RAG 核心原理
1.1 为什么需要 RAG?
纯生成模型(如通用大模型)有两大致命缺陷:
知识截止:训练数据有截止日期,无法回答实时、私密问题。
幻觉:在不确定时容易编造看似合理但错误的内容。
微调(Fine-tuning)虽然能注入新知识,但成本高、更新慢,且无法完全消除幻觉。RAG 则用外挂知识库的方式,既保留模型的语言能力,又用事实约束输出。
1.2 RAG 工作流程(两步走)
检索(Retrieve):用户问题 → 把问题转化为向量 → 在向量数据库中找到语义最相似的文档片段(Chunks) → 取回 Top-K 结果。
增强生成(Augmented Generation):将检索到的文档片段拼接到提示词中,作为“参考上下文” → 大模型基于参考信息生成答案,并常要求注明来源。
简单来说,就是让模型“开卷考试”,答案必须从提供的材料里找。
第二章:RAG Skill 架构设计
在平台上创建一个 RAG 型 Skill,通常包含以下组件:
| 组件 | 功能 |
|---|---|
| 知识库 | 存放 PDF、网页、Markdown、表格等原始文档 |
| 处理管道 | 文档解析、智能切片、向量化并存入向量数据库 |
| 检索器 | 接收用户问题,执行向量检索(可能混合关键词检索) |
| 增强提示词模板 | 将检索结果嵌入到预设的指令中 |
| 大模型 | 读取模板和文档,生成最终答案 |
在 Skill 编辑器中,这些可以转化为配置节点:触发器(意图)→ 检索节点 → 提示词构造节点 → LLM 调用 → 输出。
第三章:从零搭建 RAG 技能(详细步骤)
3.1 准备与上传知识文档
支持的格式一般包括 PDF、TXT、DOCX、Markdown、Excel 等。最佳实践:
确保文档结构清晰,标题层级分明。
图片中的文字建议提前 OCR 提取,否则无法检索。
单个文件不要过大,可拆分上传。
在平台后台找到“知识库”模块,创建知识库(如“产品内部 FAQ”),上传文档并等待解析完成。
3.2 关键:文档切片策略(Chunking)
文档必须切成小段(Chunk)才便于检索。切片策略直接决定答案质量。
参数设置建议:
切片大小:一般 500~1000 字符(约250-500中文汉字)。切片太大,检索精度下降,会带入噪音;切片太小,丢失上下文。
重叠长度:切片大小的 10%~20%,如 500 字符切片,重叠 50 字符。避免关键句子刚好被切断。
分块方法:优先按段落、标题层级切分,保持语义完整性。代码类文档可按函数/类边界切。
示例配置:
text
切片大小:512 tokens 重叠:64 tokens 保留标题路径:是(便于溯源)
3.3 选择嵌入模型并生成向量
嵌入模型负责将文本转化为数值向量,语义相近的文本在向量空间距离近。平台一般提供内置模型,也可选择:
通用领域:text-embedding-ada-002、bge-large-zh-v1.5
性价比高:M3E、text2vec
多语言:multilingual-e5 等
选定后,平台会自动对切片进行向量化,构建索引。
3.4 配置检索策略
检索节点是 RAG 的心脏,需调校以下核心参数:
Top-K(返回片段数量):一般 3~5 个。太少可能遗漏答案,太多会引入无关信息,导致模型混乱。
相似度阈值:比如 0.7,低于该分值的片段被丢弃,避免强行回答。
混合检索(Hybrid Search):结合向量检索(语义相似)和 BM25 关键词检索(精确匹配),尤其适合含有专有名词、型号、代码的场景。建议开启,并设置融合权重(向量:关键词=0.7:0.3 或 0.5:0.5)。
3.5 设计增强提示词模板
检索到的文档片段会注入到提示词中的变量(如 {{context}})。模板必须严格约束模型行为。
高可用的 RAG 提示词模板:
text
你是[公司名]智能助手,严格依据下方【参考资料】回答问题。
- 如果资料中包含答案,请用清晰简洁的语言回答,并注明引用来源的片段编号或标题。
- 如果资料中没有相关答案,请直接说“根据现有资料,我暂时无法回答该问题”,不要编造。
- 不要使用外部知识或假设。
【参考资料】:
{{retrieved_chunks}}
【用户问题】:
{{user_query}}
【回答】:这样设计的好处:设定了拒绝回答边界,强制引用,有效抑制幻觉。
3.6 调试与发布
用真实问题测试:观察检索出的片段是否真正相关,模型回答是否基于片段。若答案偏离,优先调整切片大小和 Top-K。测试满意后发布为 Skill。
第四章:提升检索质量的六大深度优化技巧
基础的 RAG 流程能完成 70% 的任务,想要达到 95% 以上的准确率,必须进行优化。
4.1 查询重写(Query Rewriting)
用户问题往往口语化、有歧义。在检索前先用小模型改写问题,可显著提升召回。
原始问题:“那玩意儿怎么连不上?”
改写后:“智能音箱 Wi-Fi 连接失败如何排查?”
可在 Skill 中添加“问题改写”节点,调用 LLM 执行改写,再用改写后的 query 检索。
4.2 多路召回与重排序(Re-ranking)
先通过向量检索召回较宽泛的 Top-20,再用一个精排模型(如 Cohere Rerank、bge-reranker)对这 20 个片段进行二次打分,最终取 Top-3 送入生成。这相当于“粗筛+精选”,性价比极高。
4.3 元数据过滤
为切片添加标签(如文档类型、创建日期、产品线),检索时结合元数据过滤,可大幅缩小范围、减少干扰。例如用户问“2025年报销政策”,则过滤 year=2025 AND category=财务。
4.4 小切片+上下文扩展
使用小粒度切片(如 1-2 句话)精准检索,但在将片段送入 LLM 时,自动将该切片前后相邻的句子或段落一同带上,既保证检索精度,又保留完整语境。平台若支持“上下文扩展”功能,建议开启。
4.5 假设文档嵌入(HyDE)
让 LLM 先根据问题凭空生成一个假设性答案,将该假设答案向量化后去检索,往往比直接用问题检索效果更好,特别适合回答难度大、对齐度低的开放问题。
4.6 评测驱动的迭代
建立一份包含 50-100 个问答对的黄金测试集,每次调优后自动跑一遍,记录召回率和答案准确率。只有量化评估,才能持续进步,而不是凭感觉。
第五章:常见问题与避坑指南
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 检索片段完全不相关 | 问题表述与文档语义差异大 | 开启查询改写,优化嵌入模型 |
| 模型只凭自己知识回答,忽略资料 | 提示词未强制约束,或资料不相关 | 使用强制引用提示词,提高相似度阈值 |
| 答案正确但无法溯源 | 缺少来源标注要求 | 模板中要求注明出处,文档入库时保留标题路径 |
| 表格类数据检索失败 | 切片粗暴切断表格结构 | 对表格型文档采用专门的表格解析和切片,保留行列信息 |
| 回答速度慢 | 检索链路过长,模型生成过长 | 精简提示词,限制输出长度,使用更快的嵌入和重排模型 |