大语言模型

LLM - Large Language Model

数据处理流程

• 文档加载
• 文档转换
• 嵌入 - embed
• 向量存储
• 检索

对应五个组件：

1. 文档加载器:它用于将数据加载为文档。
2. 文档转换器:它将文档分成更小的块。
3. 嵌入:它将块转换为向量表示，即嵌入。
4. 嵌入向量存储:用于将上述块向量存储在矢量数据库中。
5. 检索器:它用于检索一组向量，这些向量以嵌入在相同Latent空间中的向量的形式与查询最相似。

Langchain-Chatchat

项目地址

https://github.com/chatchat-space/Langchain-Chatchat

项目原理

部署流程

1. 安装python

Python版本要求3.8-3.11。推荐使用 conda，下载地址：https://docs.anaconda.com/free/miniconda/

2. 克隆代码

# 拉取仓库
$ git clone https://github.com/chatchat-space/Langchain-Chatchat.git

3. 创建环境（conda需要）

$ conda create -n chatchat python=3.11

4. 安装依赖

# 进入目录
$ cd Langchain-Chatchat

# 安装全部依赖
$ pip install -r requirements.txt
$ pip install -r requirements_api.txt
$ pip install -r requirements_webui.txt

5. 下载模型

$ git lfs install
$ git clone https://huggingface.co/BAAI/bge-large-zh-v1.5

6. 初始化知识库和配置文件

$ python copy_config_example.py
$ python init_database.py --recreate-vs

7. 运行

$ python startup.py -a

引用

一文了解：打造垂域的大模型应用ChatGPT

小白入门大模型：LangChain

大语言模型食用指南