AI大模型RAG项目实战课

AI大模型RAG项目实战课 RAG 综述 RAG技术在大模型（LLM, Large Language Models）中的应用非常广泛，是大模型落地最多的场景之一。通过RAG，客户可以咨询车辆功能、维护、最新技术或政策法规相关信息，从而提升客户服务与支持的效率。具体应用场景包括外部客服，结合RAG的LLM提供24/7客户服务，快速检索产品信息；文档撰写，通过RAG检索相关资料，生成高质量文档；图像生成与数据处理和分析，以及内部知识库的建立和维护。 为了解决纯参数化模型的局限，语言模型可以采取半参数化方法，将非参数化的语料库数据库与参数化模型相结合。这种方法被称为RAG（Retrieval-Augmented Generation）。 RAG通用范式 原始RAG是最早的研究范式，主要包括以下几个步骤： 1、建立索引： 这一过程通常在离线状态下进行，数据清洗并分块，将分块后的知识通过embedding模型产出语义向量，并创建索引。 2、检索： 用户的query问题，使用相同的embedding模型，计算问题嵌入和文档块嵌入之间的相似度，选择相似度最高的前K个文档块作为当前问题的增强上下文信息。 3、生成： 将给定的问题和相关文档合并为新的提示，然后由大型语言模型基于提供的信息回答问题。如果有历史对话信息，也可以合并到提示中，用于多轮对话。 RAG整体业务链路主要分为5大步骤：知识生产与加工、query改写、数据召回、后置处理以及大模型生产。 RAG的挑战 RAG主要面临三个方面的挑战：检索质量、增强过程和生成质量。 如何学习AI大模型？ 第一阶段： 从大模型系统设计入手，讲解大模型的主要方法； 第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用； 第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统； 第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统； 第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型； 第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例； 第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。