ChatGLM-6B-INT8

介紹

ChatGLM-6B 是一個(gè)開(kāi)源的、支持中英雙語(yǔ)問(wèn)答的對(duì)話(huà)語(yǔ)言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶(hù)可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4 量化級(jí)別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對(duì)中文問(wèn)答和對(duì)話(huà)進(jìn)行了優(yōu)化。經(jīng)過(guò)約 1T 標(biāo)識(shí)符的中英雙語(yǔ)訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人?lèi)反饋強(qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類(lèi)偏好的回答。

ChatGLM-6B-INT8 是 ChatGLM-6B 量化后的模型權(quán)重。具體的，ChatGLM-6B-INT8 對(duì) ChatGLM-6B 中的 28 個(gè) GLM Block 進(jìn)行了 INT8 量化，沒(méi)有對(duì) Embedding 和 LM Head 進(jìn)行量化。量化后的模型理論上 8G 顯存（使用 CPU 即內(nèi)存）即可推理，具有在嵌入式設(shè)備（如樹(shù)莓派）上運(yùn)行的可能。

在 CPU 上運(yùn)行時(shí)，會(huì)根據(jù)硬件自動(dòng)編譯 CPU Kernel ，請(qǐng)確保已安裝 GCC 和 OpenMP （Linux一般已安裝，對(duì)于Windows則需手動(dòng)安裝），以獲得最佳并行計(jì)算能力。

環(huán)境搭建

本模型環(huán)境需安裝最新版的modelscope

pip install modelscope==1.4.3 -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html 

代碼調(diào)用

可以通過(guò)如下代碼調(diào)用 ChatGLM-6B-int8 模型來(lái)生成對(duì)話(huà)：

from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
pipe = pipeline(task=Tasks.chat, model='thomas/ChatGLM-6B-Int8', model_revision='v1.0.3')
inputs = {'text':'你好', 'history': []}
result = pipe(inputs)
inputs = {'text':'介紹下清華大學(xué)', 'history': result['history']}
result = pipe(inputs)
print(result)

關(guān)于更多的使用說(shuō)明，包括如何運(yùn)行命令行和網(wǎng)頁(yè)版本的 DEMO，以及使用模型量化以節(jié)省顯存，請(qǐng)參考我們的 Github Repo。

協(xié)議

本倉(cāng)庫(kù)的代碼依照 Apache-2.0 協(xié)議開(kāi)源，ChatGLM-6B 模型的權(quán)重的使用則需要遵循 Model License。

引用

如果你覺(jué)得我們的工作有幫助的話(huà)，請(qǐng)考慮引用下列論文：

@inproceedings{
  zeng2023glm-130b,
  title={{GLM}-130B: An Open Bilingual Pre-trained Model},
  author={Aohan Zeng and Xiao Liu and Zhengxiao Du and Zihan Wang and Hanyu Lai and Ming Ding and Zhuoyi Yang and Yifan Xu and Wendi Zheng and Xiao Xia and Weng Lam Tam and Zixuan Ma and Yufei Xue and Jidong Zhai and Wenguang Chen and Zhiyuan Liu and Peng Zhang and Yuxiao Dong and Jie Tang},
  booktitle={The Eleventh International Conference on Learning Representations (ICLR)},
  year={2023},
  url={https://openreview.net/forum?id=-Aw0rrrPUF}
}

@inproceedings{du2022glm,
  title={GLM: General Language Model Pretraining with Autoregressive Blank Infilling},
  author={Du, Zhengxiao and Qian, Yujie and Liu, Xiao and Ding, Ming and Qiu, Jiezhong and Yang, Zhilin and Tang, Jie},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
  pages={320--335},
  year={2022}
}