22-检索增强生成(RAG) 优化策略篇.pdf

检索增强生成(RAG)优化策略篇来自：AiGC面试宝典宁静致远2024年01月28日10:12•检索增强生成(RAG)优化策略篇•一、RAG基础功能篇•1.1RAG工作流程•二、RAG各模块有哪些优化策略？•三、RAG架构优化有哪些优化策略？•3.1如何利用知识图谱（KG）进行上下文增强？•3.1.1典型RAG架构中，向量数据库进行上下文增强存在哪些问题？•3.1.2如何利用知识图谱（KG）进行上下文增强？•3.2Self-RAG：如何让大模型对召回结果进行筛选？•3.2.1典型RAG架构中，向量数据库存在哪些问题？•3.2.2Self-RAG：如何让大模型对召回结果进行筛选？•3.2.3Self-RAG的创新点是什么？•3.2.4Self-RAG的训练过程？•3.2.5Self-RAG的推理过程？•3.2.6Self-RAG的代码实战？•3.3多向量检索器多模态RAG篇•3.3.1如何让RAG支持多模态数据格式？•3.3.1.1如何让RAG支持半结构化RAG（文本+表格）?•3.3.1.2如何让RAG支持多模态RAG（文本+表格+图片）?•3.3.1.3如何让RAG支持私有化多模态RAG（文本+表格+图片）?•3.4RAGFusion优化策略•3.5模块化RAG优化策略•3.6RAG新模式优化策略•3.7RAG结合SFT•3.8查询转换（QueryTransformations）•3.9bert在RAG中具体是起到了一个什么作用，我刚搜了下nsp的内容，但有点没法将这几者联系起来•四、RAG索引优化有哪些优化策略？•4.1嵌入优化策略•4.2RAG检索召回率低，一般都有哪些解决方案呀。尝试过不同大小的chunk，和混合检索。效果都不太好，然后优化？•4.3RAG如何优化索引结构?•4.4如何通过混合检索提升RAG效果?•4.5如何通过重新排名提升RAG效果?•五、RAG索引数据优化有哪些优化策略？•5.1RAG如何提升索引数据的质量?•5.2如何通过添加元数据提升RAG效果?•5.3如何通过输入查询与文档对齐提升RAG效果?•5.4如何通过提示压缩提升RAG效果?扫码加查看更多一、RAG基础功能篇1.1RAG工作流程图1RAG工作流程（withmemory）从RAG的工作流程看，RAG模块有：文档块切分、文本嵌入模型、提示工程、大模型生成。二、RAG各模块有哪些优化策略？此外，还可对query召回的文档块集合进行处理，比如：元数据过滤[7]、重排序减少文档块数量[2]。三、RAG架构优化有哪些优化策略？3.1如何利用知识图谱（KG）进行上下文增强？3.1.1典型RAG架构中，向量数据库进行上下文增强存在哪些问题？向量数据库进行上下文增强存在问题：3.1.2如何利用知识图谱（KG）进行上下文增强？•5.5如何通过查询重写和扩展提升RAG效果?•RAG未来发展方向•Rag的垂直优化•RAG的水平扩展•RAG生态系统•参考•文档块切分：设置适当的块间重叠、多粒度文档块切分、基于语义的文档切分、文档块摘要。•文本嵌入模型：基于新语料微调嵌入模型、动态表征。•提示工程优化：优化模板增加提示词约束、提示词改写。•大模型迭代：基于正反馈微调模型、量化感知训练、提供大contextwindow的推理模型。1.无法获取长程关联知识2.信息密度低（尤其当LLMcontextwindow较小时不友好）•策略：增加一路与向量库平行的KG（知识图谱）上下文增强策略。图2基于KG+VS进行上下文增强3.2Self-RAG：如何让大模型对召回结果进行筛选？3.2.1典型RAG架构中，向量数据库存在哪些问题？经典的RAG架构中（包括KG进行上下文增强），对召回的上下文无差别地与query进行合并，然后访问大模型输出应答。但有时召回的上下文可能与query无关或者矛盾，此时就应舍弃这个上下文，尤其当大模型上下文窗口较小时非常必要（目前4k的窗口比较常见）。3.2.2Self-RAG：如何让大模型对召回结果进行筛选？•具体方式：对于用户query，通过利用NL2Cypher进行KG增强；•优化策略：常用图采样技术来进行KG上下文增强•处理方式：根据query抽取实体，然后把实体作为种子节点对图进行采样（必要时，可把KG中节点和query中实体先向量化，通过向量相似度设置种子节点），然后把获取的子图转换成文本片段，从而达到上下文增强的效果。图3RAGvsSelf-RAGSelf-RAG则是更加主动和智能的实现方式，主要步骤概括如下：3.2.3Self-RAG的创新点是什么？1.判断是否需要额外检索事实性信息（retrieveondemand），仅当有需要时才召回；2.平行处理每个片段：生产prompt+一...