大型语言模型实战指南：应用实践与场景落地

作者简介

10.5 本章小结

10.4 运行AutoGPT

10.3.6 为Agent配置记忆

10.3.5 工具能力配置

10.3.4 程序的核心AutoGPT类

10.3.3 输出解析

10.3.2 规划和任务分解

10.3.1 构建

10.3 使用LangChain构建AutoGPT

10.2 LangChain概述

10.1 AutoGPT概述

第10章 使用LangChain构建一个AutoGPT

9.4 本章小结

9.3.3 基于Streamlit的知识库答案应用搭建

9.3.2 基于ChatGLM3知识库答案生成任务的微调

9.3.1 BGE微调

9.3 基于知识库的大型语言模型问答实战

9.2.3 常用的向量数据库

9.2.2 向量的距离度量方法

9.2.1 文本的向量表征

9.2 向量数据库

9.1 基于知识库问答

第9章 基于知识库的大型语言模型问答应用

8.5 本章小结

8.4.5 SuperAGI框架

8.4.4 AutoGen框架

8.4.3 AutoGPT框架

8.4.2 LlamaIndex框架

8.4.1 LangChain框架

8.4 主流Agent框架

8.3 Agent的行为决策机制

8.2 Agent的主要模块

8.1 Agent概述

第8章 Agent应用开发

7.4 本章小结

7.3.4 模型预测

7.3.3 模型微调

7.3.2 数据预处理

7.3.1 项目介绍

7.3 基于Qwen的对话要素抽取模型微调

7.2.2 基于Qwen-1.8B模型进行对话要素抽取

7.2.1 基于GPT-3.5 API进行对话要素抽取

7.2 对话要素抽取实战测试

7.1 对话要素抽取

第7章 大型语言模型的对话要素抽取应用

6.4 本章小结

6.3.4 模型预测

6.3.3 模型微调

6.3.2 数据预处理

6.3.1 项目介绍

6.3 基于Baichuan的角色扮演模型微调

6.2 角色扮演实战测试

6.1.3 大型语言模型角色扮演的能力评估

6.1.2 角色扮演数据的构造方法

6.1.1 大型语言模型如何进行角色扮演

6.1 角色扮演

第6章 大型语言模型的角色扮演应用

5.4 本章小结

5.3.4 模型预测

5.3.3 模型微调

5.3.2 数据预处理

5.3.1 项目介绍

5.3 Text2SQL任务实战

5.2.4 基于大型语言模型的方法

5.2.3 基于预训练语言模型的方法

5.2.2 基于深度学习的方法

5.2.1 基于规则的方法

5.2 主流方法

5.1.2 中文公开数据集

5.1.1 英文公开数据集

5.1 公开数据集

第5章 大型语言模型SQL任务实战

4.4 本章小结

4.3 GPTs的高阶使用

4.2.3 知识库与内置插件的结合使用

4.2.2 内置插件的使用

4.2.1 知识库的使用

4.2 GPTs的初阶使用

4.1 GPTs初体验

第4章 创建个人专属的ChatGPT——GPTs

3.4 本章小结

3.3.3 训练代码解析

3.3.2 TRL框架介绍

3.3.1 数据集介绍

3.3 基于DPO的偏好对齐实战

3.2.4 APO

3.2.3 DPO

3.2.2 RLAIF

3.2.1 RRHF

3.2 前沿偏好对齐方法

3.1 基于人类反馈的强化学习框架

第3章 大型语言模型的人类偏好对齐

2.5 本章小结

2.4.4 模型预测

2.4.3 模型微调

2.4.2 数据预处理

2.4.1 项目介绍

2.4 基于PEFT的LLaMA模型微调实战

2.3.11 S-LoRA

2.3.10 VeRA

2.3.9 LongLoRA

2.3.8 QA-LoRA

2.3.7 QLoRA

2.3.6 AdaLoRA

2.3.5 DyLoRA

2.3.4 LoRA

2.3.3 P-Tuning v2

2.3.2 提示调优

2.3.1 前缀调优

2.3 大型语言模型的微调方法

2.2.6 词表融合

2.2.5 SentencePiece分词器

2.2.4 Unigram分词器

2.2.3 WordPiece分词器

2.2.2 BPE分词器

2.2.1 分词器概述

2.2 分词器构造

2.1.2 数据清洗方法

2.1.1 数据构造方法

2.1 数据构造与清洗

第2章 大型语言模型的常用微调方法

1.5 本章小结

1.4.3 大型语言模型评估榜单

1.4.2 大型语言模型的评估方法

1.4.1 大型语言模型的评估内容

1.4 大型语言模型评估

1.3.4 教育大型语言模型

1.3.3 金融大型语言模型

1.3.2 医疗大型语言模型

1.3.1 法律大型语言模型

1.3 领域大型语言模型

1.2.8 Skywork模型

1.2.7 Qwen系列模型

1.2.6 Baichuan系列模型

1.2.5 LLaMA系列模型

1.2.4 GLM系列模型

1.2.3 Bloom模型

1.2.2 OPT模型

1.2.1 GPT系列模型

1.2 常用的大型语言模型

1.1 Transformer基础

第1章 大型语言模型基础

前言

内容简介

版权信息

封面

封面

版权信息

内容简介

前言

第1章 大型语言模型基础

1.1 Transformer基础

1.2 常用的大型语言模型

1.2.1 GPT系列模型

1.2.2 OPT模型

1.2.3 Bloom模型

1.2.4 GLM系列模型

1.2.5 LLaMA系列模型

1.2.6 Baichuan系列模型

1.2.7 Qwen系列模型

1.2.8 Skywork模型

1.3 领域大型语言模型

1.3.1 法律大型语言模型

1.3.2 医疗大型语言模型

1.3.3 金融大型语言模型

1.3.4 教育大型语言模型

1.4 大型语言模型评估

1.4.1 大型语言模型的评估内容

1.4.2 大型语言模型的评估方法

1.4.3 大型语言模型评估榜单

1.5 本章小结

第2章 大型语言模型的常用微调方法

2.1 数据构造与清洗

2.1.1 数据构造方法

2.1.2 数据清洗方法

2.2 分词器构造

2.2.1 分词器概述

2.2.2 BPE分词器

2.2.3 WordPiece分词器

2.2.4 Unigram分词器

2.2.5 SentencePiece分词器

2.2.6 词表融合

2.3 大型语言模型的微调方法

2.3.1 前缀调优

2.3.2 提示调优

2.3.3 P-Tuning v2

2.3.4 LoRA

2.3.5 DyLoRA

2.3.6 AdaLoRA

2.3.7 QLoRA

2.3.8 QA-LoRA

2.3.9 LongLoRA

2.3.10 VeRA

2.3.11 S-LoRA

2.4 基于PEFT的LLaMA模型微调实战

2.4.1 项目介绍

2.4.2 数据预处理

2.4.3 模型微调

2.4.4 模型预测

2.5 本章小结

第3章 大型语言模型的人类偏好对齐

3.1 基于人类反馈的强化学习框架

3.2 前沿偏好对齐方法

3.2.1 RRHF

3.2.2 RLAIF

3.2.3 DPO

3.2.4 APO

3.3 基于DPO的偏好对齐实战

3.3.1 数据集介绍

3.3.2 TRL框架介绍

3.3.3 训练代码解析

3.4 本章小结

第4章 创建个人专属的ChatGPT——GPTs

4.1 GPTs初体验

4.2 GPTs的初阶使用

4.2.1 知识库的使用

4.2.2 内置插件的使用

4.2.3 知识库与内置插件的结合使用

4.3 GPTs的高阶使用

4.4 本章小结

第5章 大型语言模型SQL任务实战

5.1 公开数据集

5.1.1 英文公开数据集

5.1.2 中文公开数据集

5.2 主流方法

5.2.1 基于规则的方法

5.2.2 基于深度学习的方法

5.2.3 基于预训练语言模型的方法

5.2.4 基于大型语言模型的方法

5.3 Text2SQL任务实战

5.3.1 项目介绍

5.3.2 数据预处理

5.3.3 模型微调

5.3.4 模型预测

5.4 本章小结

第6章 大型语言模型的角色扮演应用

6.1 角色扮演

6.1.1 大型语言模型如何进行角色扮演

6.1.2 角色扮演数据的构造方法

6.1.3 大型语言模型角色扮演的能力评估

6.2 角色扮演实战测试

6.3 基于Baichuan的角色扮演模型微调

6.3.1 项目介绍

6.3.2 数据预处理

6.3.3 模型微调

6.3.4 模型预测

6.4 本章小结

第7章 大型语言模型的对话要素抽取应用

7.1 对话要素抽取

7.2 对话要素抽取实战测试

7.2.1 基于GPT-3.5 API进行对话要素抽取

7.2.2 基于Qwen-1.8B模型进行对话要素抽取

7.3 基于Qwen的对话要素抽取模型微调

7.3.1 项目介绍

7.3.2 数据预处理

7.3.3 模型微调

7.3.4 模型预测

7.4 本章小结

第8章 Agent应用开发

8.1 Agent概述

8.2 Agent的主要模块

8.3 Agent的行为决策机制

8.4 主流Agent框架

8.4.1 LangChain框架

8.4.2 LlamaIndex框架

8.4.3 AutoGPT框架

8.4.4 AutoGen框架

8.4.5 SuperAGI框架

8.5 本章小结

第9章 基于知识库的大型语言模型问答应用

9.1 基于知识库问答

9.2 向量数据库

9.2.1 文本的向量表征

9.2.2 向量的距离度量方法

9.2.3 常用的向量数据库

9.3 基于知识库的大型语言模型问答实战

9.3.1 BGE微调

9.3.2 基于ChatGLM3知识库答案生成任务的微调

9.3.3 基于Streamlit的知识库答案应用搭建

9.4 本章小结

第10章 使用LangChain构建一个AutoGPT

10.1 AutoGPT概述

10.2 LangChain概述

10.3 使用LangChain构建AutoGPT

10.3.1 构建

10.3.2 规划和任务分解

10.3.3 输出解析

10.3.4 程序的核心AutoGPT类

10.3.5 工具能力配置

10.3.6 为Agent配置记忆

10.4 运行AutoGPT

10.5 本章小结

作者简介