内容
内容简介
这是一本全面讲解RAG技术原理、实战应用与系统构建的著作。作者结合自身丰富的实战经验，详细阐述了RAG的基础原理、核心组件、优缺点以及使用场景，同时探讨了RAG在大模型应用开发中的变革与潜力。书中不仅揭示了RAG技术背后的数学原理，还通过丰富的案例与代码实现，引导读者从理论走向实践，轻松掌握RAG系统的构建与优化。无论你是深度学习初学者，还是希望提升RAG应用技能的开发者，本书都将为你提供宝贵的参考与指导。
通过阅读本书，你将掌握以下知识：
?透彻理解RAG的召回和生成模块算法
?高级RAG系统的技巧
?RAG系统的各种训练方式方法
?深入了解RAG的范式变迁
?实战0基础搭建RAG系统
?实战高级RAG系统微调与流程搭建
作者
汪鹏
资深NLP技术专家和AI技术专家，拥有多年NLP落地经验。擅长结合用户场景，针对性地设计图谱、问答、检索、多模态、AIGC等相关的算法和落地方案。在Kaggle获得多枚奖牌，等级master。拥有公众号“NLP前沿”。
谷清水
毕业于清华大学，有国内多家大厂工作经历，7年深度学习项目开发经验。在KDD-CUP等机器学习竞赛中多次获奖，持有多项发明专利。知乎ID：“战士金”。
卞龙鹏
某上市公司资深AI算法工程师，多年互联网一线工作经验，10年机器学习与数据挖掘经验。持多项发明专利，发表多篇SCI文章，主攻机器视觉、模式识别、自然语言处理。
目录
前 言
第一部分 基础
第1章 RAG与大模型应用 2
1.1 大模型应用的方向：RAG2
1.1.1 什么是RAG2
1.1.2 RAG与模型微调的对比5
1.1.3 RAG带来的范式改变5
1.2 为什么需要RAG6
1.2.1 大模型的知识更新问题6
1.2.2 大模型生成结果的不可解释性问题8
1.2.3 大模型的数据泄露问题8
1.2.4 大模型的训练成本问题9
1.3 RAG的工作流程9
1.3.1 数据准备10
1.3.2 数据召回11
1.3.3 答案生成12
1.4 RAG的优缺点12
1.4.1 RAG的优点12
1.4.2 RAG的缺点13
1.5 RAG的使用场景14
1.6 RAG面临的挑战16
1.6.1 LLM的伸缩法则与知识库大小的关系16
1.6.2 相似度搜索的性能问题17
1.7 本章小结19
第2章 语言模型基础 20
2.1 Transformer20
2.1.1 词嵌入24
2.1.2 编码器35
2.1.3 解码器39
2.1.4 解码头41
2.2 自动编码器41
2.2.1 ELMo42
2.2.2 BERT43
2.3 自回归模型47
2.3.1 GPT48
2.3.2 LLaMA53
2.4 本章小结56
第3章 文本召回模型 58
3.1 文本召回模型基础58
3.2 稠密向量检索模型61
3.2.1 SimCSE61
3.2.2 SBERT63
3.2.3 CoSENT64
3.2.4 WhiteBERT65
3.2.5 SGPT66
3.3 稀疏向量检索模型67
3.3.1 朴素词袋模型67
3.3.2 TF-IDF68
3.3.3 BM2570
3.4 重排序模型71
3.5 本章小结72
第二部分 原理
第4章 RAG核心技术与优化方法 74
4.1 提示词工程74
4.1.1 提示词工程基础74
4.1.2 RAG场景下的提示词设计81
4.2 文本切块83
4.2.1 固定大小文本切块84
4.2.2 基于NLTK的文本切块85
4.2.3 特殊格式文本切块85
4.2.4 基于深度学习模型的文本切块86
4.3 向量数据库87
4.3.1 Faiss88
4.3.2 Milvus92
4.3.3 Weaviate93
4.3.4 Chroma93
4.3.5 Qdrant93
4.4 召回环节优化94
4.4.1 短文本全局信息增强94
4.4.2 召回内容上下文扩充95
4.4.3 文本多向量表示96
4.4.4 查询内容优化98
4.4.5 召回文本重排序101
4.4.6 多检索器融合102
4.4.7 结合元数据召回104
4.5 效果评估107
4.5.1 召回环节评估107
4.5.2 模型回答评估109
4.6 LLM能力优化115
4.6.1 LLM微调115
4.6.2 FLARE117
4.6.3 Self-RAG119
4.7 本章小结120
第5章 RAG范式演变 121
5.1 基础RAG系统121
5.1.1 基础流程121
5.1.2 存在的问题122
5.2 先进RAG系统125
5.3 大模型主导的RAG系统127
5.4 多模态RAG系统131
5.5 本章小结135
第6章 RAG系统训练 136
6.1 RAG系统的训练难点136
6.2 训练方法138
6.3 独立训练138
6.4 序贯训练139
6.4.1 冻结召回模块140
6.4.2 冻结生成模块141
6.5 联合训练143
6.5.1 异步更新索引143
6.5.2 批近似147
6.6 本章小结149
第三部分 实战
第7章 基于LangChain实现RAG应用 152
7.1 LangChain基础模块152
7.2 基于LangChain实现RAG156
7.3 基于Streamlit搭建一个ChatPDF可视化应用158
7.4 本章小结161
第8章 RAG系统构建与微调实战 162
8.1 向量模型构建162
8.1.1 模型选型162
8.1.2 训练数据构造163
8.1.3 向量模型训练166
8.1.4 向量模型联合训练167
8.2 大模型指令微调175
8.3 复杂问题处理179
8.3.1 微调数据构造180
8.3.2 微调数据处理194
8.3.3 复杂问题推理处理200
8.4 本章小结203