作者：英特尔创新大使 刘力

1.1 Qwen-7B-Chat简介

Qwen-7B-Chat是阿里云通义千问系列中的一个专门针对聊天场景优化的模型版本，其参数规模同样为70亿（7B）。该模型继承了通义千问大模型的基本架构和特性，通过针对性的数据训练和调整，增强了在开放性对话和闲聊方面的表现能力。相比通义千问7B通用模型，7B-Chat更加擅长进行自然流畅的多轮交互式对话，适用于社交机器人、客服系统等应用场景，旨在提供更为生动有趣、富有情感共鸣的聊天体验。这个模型同样具备高质量的文本生成能力和对复杂语境的理解能力，是大型语言模型技术在聊天领域的实际应用体现。

1.2 OpenVINO Notebook简介

OpenVINO Notebooks是一套以 Jupyter Notebook 为载体的交互式编程教程和示例代码合集，由英特尔公司开发和维护。这套资源专为使用 OpenVINO 工具套件的开发者设计，旨在帮助他们更快地理解和掌握如何利用 OpenVINO 进行深度学习模型的优化与推理。

1.3 部署平台简介：

算力魔方是一款可以DIY的迷你主机，采用了抽屉式设计，后续组装、升级、维护只需要拔插模块。通过选择计算模块的版本，再搭配不同额 IO 模块可以组成丰富的配置，适应不同场景。性能不够时，可以升级计算模块提升算力， IO 接口不匹配时，可以更换 IO 模块调整功能，而无需重构整个系统。本文在带有英特尔锐炬^® X^e集成显卡的算力魔方上完成验证。

1.4 在集成显卡上部署Qwen-7B-Chat

1.4.1 搭建OpenVINO Notebooks开发环境

安装前提条件：确保您的系统满足OpenVINO的最低要求，包括Python版本和其他软件依赖项

第一步：请下载并安装Anaconda，然后在Anaconda内使用下面的命令获取存储库文件

git clone https://github.com/openvinotoolkit/openvino_notebooks.git

第二步：请使用下面的命令创建并激活名为“qwen”的虚拟环境

conda create -n qwen python=3.10
conda activate qwen

第三步：请使用下面指令进入OpenVINO Notebooks存储文件夹并安装OpenVINO、Jupyter和其他必需的软件包来运行笔记本

cd openvino_notebooks
pip install -r requirements.txt

1.4.2 下载模型到本地

请使用命令将通义千问-7B（Qwen-7B）模型下载到本地

git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat.git

1.4.3 运行254-llm-chatbot程序

模型下载完成至本地后请参考《快速下载 OpenVINO™ Notebooks 中的 AI 大模型》该文章，然后运行OpenVINO™ Notebooks 的 254-llm-chatbot.ipynb

运行结果，如下所示：

点击观看运行视频

1.5 总结

OpenVINO^TM工具套件简单易用，仅需三步即可在算力魔方完成开发环境搭建、以及Qwen-7B-Chat模型的INT4量化以及在英特尔集成显卡上的部署。

作者介绍：

刘力，深圳市铂盛科技有限公司的创始人。带领团队成功设计了多种计算机系统，并申请了多项专利和软件著作，铂盛科技为国家高新技术企业，深圳市专精特新企业。铂盛通过整合算力和算法，打造软硬件一体化的AIPC解决方案，目前产品已在工业控制、智能机器人、教育、医疗、金融等多个边缘计算领域得到广泛应用。

联系方式

电话：13537819699

Email：leo.liu@pasuntech.com