chatglm2-6b_a13446910433030144639614/quickstart.md

<!-- 该部分为参数配置部分 -->

模型加载和推理

更多关于模型加载和推理的问题参考模型的推理Pipeline。

from modelscope.utils.constant import Tasks
from modelscope import Model
from modelscope.pipelines import pipeline
model = Model.from_pretrained('ZhipuAI/chatglm2-6b', device_map='auto', revision='v1.0.7')
pipe = pipeline(task=Tasks.chat, model=model)
inputs = {'text':'你好', 'history': []}
result = pipe(inputs)
inputs = {'text':'介绍下江南大学', 'history': result['history']}
result = pipe(inputs)
print(result)

更多使用说明请参阅ModelScope文档中心。

---

---

下载并安装ModelScope library

更多关于下载安装ModelScope library的问题参考环境安装。

pip install "modelscope[audio,cv,nlp,multi-modal,science]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html