ChatGLM-6B-Int4模型介紹

ChatGLM-6B 是一個開源的、支持中英雙語問答的對話語言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署（INT4 量化級別下最低只需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術(shù)，針對中文問答和對話進(jìn)行了優(yōu)化。經(jīng)過約 1T 標(biāo)識符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾?、人類反饋?qiáng)化學(xué)習(xí)等技術(shù)的加持，62 億參數(shù)的 ChatGLM-6B 已經(jīng)能生成相當(dāng)符合人類偏好的回答。

ChatGLM-6B-INT4 是 ChatGLM-6B 量化后的模型權(quán)重。具體的，ChatGLM-6B-INT4 對 ChatGLM-6B 中的 28 個 GLM Block 進(jìn)行了 INT4 量化，沒有對 Embedding 和 LM Head 進(jìn)行量化。量化后的模型理論上 6G 顯存（使用 CPU 即內(nèi)存）即可推理，具有在嵌入式設(shè)備（如樹莓派）上運(yùn)行的可能。

在 CPU 上運(yùn)行時(shí)，會根據(jù)硬件自動編譯 CPU Kernel ，請確保已安裝 GCC 和 OpenMP （Linux一般已安裝，對于Windows則需手動安裝），以獲得最佳并行計(jì)算能力。

環(huán)境搭建

本模型環(huán)境需安裝最新版的modelscope

pip install modelscope==1.4.3 -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html 

軟件依賴

pip install protobuf transformers==4.27.1 cpm_kernels

代碼范例

from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
pipe = pipeline(task=Tasks.chat, model='ZhipuAI/ChatGLM-6B-Int4', model_revision='v1.0.1')
inputs = {'text':'你好', 'history': []}
result = pipe(inputs)
inputs = {'text':'介紹下清華大學(xué)', 'history': result['history']}
result = pipe(inputs)
print(result)

協(xié)議

本倉庫的代碼依照 Apache-2.0 協(xié)議開源，ChatGLM-6B 模型的權(quán)重的使用則需要遵循 Model License。

引用

如果你覺得我們的工作有幫助的話，請考慮引用下列論文：

@inproceedings{
  zeng2023glm-130b,
  title={{GLM}-130B: An Open Bilingual Pre-trained Model},
  author={Aohan Zeng and Xiao Liu and Zhengxiao Du and Zihan Wang and Hanyu Lai and Ming Ding and Zhuoyi Yang and Yifan Xu and Wendi Zheng and Xiao Xia and Weng Lam Tam and Zixuan Ma and Yufei Xue and Jidong Zhai and Wenguang Chen and Zhiyuan Liu and Peng Zhang and Yuxiao Dong and Jie Tang},
  booktitle={The Eleventh International Conference on Learning Representations (ICLR)},
  year={2023},
  url={https://openreview.net/forum?id=-Aw0rrrPUF}
}

@inproceedings{du2022glm,
  title={GLM: General Language Model Pretraining with Autoregressive Blank Infilling},
  author={Du, Zhengxiao and Qian, Yujie and Liu, Xiao and Ding, Ming and Qiu, Jiezhong and Yang, Zhilin and Tang, Jie},
  booktitle={Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)},
  pages={320--335},
  year={2022}
}

歡迎加入我們的微信社區(qū)討論～

modelhub clone

 git clone https://www.modelscope.cn/ZhipuAI/ChatGLM-6B.git