Chatglm2_6b安装

一、安装要求

1、硬件

能否使用，或者以什么模式使用主要取决于显卡的显存

2、能否使用AMD显卡？

可以，甚至可以使用CPU，但是需要降低精度。

以CPU模式运行大概需要32GB 内存。

二：工程与下载

1. 官方路径

工程路径：

一代工程：

https://github.com/THUDM/ChatGLM-6B/tree/main

二代工程：

https://github.com/THUDM/ChatGLM2-6B

模型路径：

一代模型：

https://huggingface.co/THUDM/chatglm-6b

二代模型：

https://huggingface.co/THUDM/chatglm2-6b

2. 整合包

考虑到我们的网络情况，估计有大把的人是无法正常下载的

所以将工程文件与模型整合到一起

1. 【ChatGLM2-6B完整包】，包括工程文件与完整模型文件

链接：https://pan.baidu.com/s/1CxgeUQSXUX__YtMUoSPeUw?pwd=eybi

提取码：eybi

文件夹分为3个包

【chatglm2-6b-project】中是工程文件

【chatglm2-6b-model】是huggingface上的模型文件

【安装文件_备用】中可能用到的安装文件，如果没有安装的，可以安装一下。

2. 【ChatGLM2-6B完整包】，包括int4模型文件，解压缩后放至【chatglm2-6b-model】文件夹下

                链接：https://pan.baidu.com/s/1XjJf8iYJczBoWXS4jznXug?pwd=1b62

提取码：1b62

此时，chatglm2-6b-model中有两个文件夹

【chatglm2-6b】是标准模型文件

【chatglm2-6b-int4】是量化后的模型文件

三、安装

1、机器学习的基本安装方法

• win系统环境设定：

        http://cyberxz.com/aiweb/note/00400301_Setup_Win/00400301_Setup_Win.html

• Linux环境（制作中）
• Mac环境（制作中）

*启动前请务必按照该文档安装基础的软件与配置

2、安装ChatGPT

• 安装requirements，命令：

• cd ChatGLM-6B
• pip install -r requirements.txt
• pip install rouge_chinese nltk jieba datasets

• 安装Gradio

如果使用webui，则需要安装Gradio，命令：

• pip install gradio

四、运行

1、设定时要修改的文件

1. 运行用文件：

• 【web_demo.py】 运行后，通过web界面使用
• 【cli_demo.py】 运行后，通过命令行使用
• 【api.py】 运行后，通过API使用

        工程目录下的3个.py文件，要运行哪个就修改哪个

2）具体采用哪种模式请根据自己的硬件决定；

2、设定模型的路径

• 在【api.py】、【web_demo.py】与【cli_demo.py】这3个文件中，指定模型文件的位置， AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True) 原文中模型路径的写法会实时去下载模型，建议修改成指向本地已经下载好的模型文件
• 现在的整合包中已经设定好了，没事就别改，除非确定要改变模型文件的位置
• 量化后的模型：如果你的内存不足，可以直接加载量化后的模型，即【chatglm2-6b-int4】文件夹内的模型。在这里修改为int4的模型路径

tokenizer = AutoTokenizer.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b-int4", trust_remote_code=True)

model = AutoModel.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b-int4", trust_remote_code=True).cuda()

3、GPU运行

• GPU默认模式：默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。

tokenizer = AutoTokenizer.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True).cuda()

• 完整模型+int8模式/int4模式：如果你的 GPU 显存有限，可以尝试以量化方式加载模型，目前只支持 4/8 bit 量化

int8：

tokenizer = AutoTokenizer.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True).quantize(8).half().cuda()

int4：

tokenizer = AutoTokenizer.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True).quantize(4).half().cuda()

4、CPU运行

• CPU模式：

如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。使用方法如下（需要大概 32GB 内存）

tokenizer = AutoTokenizer.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True).float()

• CPU模式+量化：

如果你的内存不足的话，也可以使用量化后的模型

tokenizer = AutoTokenizer.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("..\\..\\chatglm2-6b-model\\chatglm2-6b-int4", trust_remote_code=True).float()

5、运行

与官方文档一样，在【ChatGLM2-6B】（工程目录）下运行

• python cli_demo.py  启动命令行
• python web_demo.py  启动web界面
• python api.py  启动api