本笔记包含四大内容
作业
- 使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事
- 熟悉 huggingface 下载功能,使用 huggingface_hub python 包,下载 InternLM2-Chat-7B 的 config.json 文件到本地
- 完成 浦语·灵笔2 的 图文创作 及 视觉问答 部署
- 完成 Lagent 工具调用 数据分析 Demo 部署
一、部署 InternLM2-Chat-1.8B
实现目标
- 创建熟悉开发机
- 下载 InternLM2-Chat-1.8B 模型
- 部署本地 Client Demo
过程

进入开发机,配置环境


下载 InternLM2-Chat-1.8B
模型

编辑文件/root/demo/download_mini.py
运行 cli_demo
,编辑/root/demo/cli_demo.py
文件
执行 Demo
程序

(作业)生成 300 字的小故事

二、八戒-Chat-1.8B
实现目标
- 运行第一期实战营优秀作品
- 了解如何部署自定义模型
过程

到开发机中找到对应的端口

通过本地进行SSH远程

进入到这个状态就代表没有问题了

实现
开始加载模型,加载完成后,进入到 http://127.0.0.1:6006/

三、运行 Lagent 智能体 Demo
实现目标
- 进一步了解 Lagent 智能体
- 部署 InternLM2-Chat-7B
- 体验与智能体 Demo 的聊天互动
过程
升级配置

什么是Lagent
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。
lagent 框架

Lagent 特性
流式输出:提供 stream_chat 接口作流式输出,本地就能演示酷炫的流式 Demo。
接口统一,设计全面升级,提升拓展性,包括:
- Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽,模型切换可以游刃有余;
- Action: 简单的继承和装饰,即可打造自己个人的工具集,不论 InternLM 还是 GPT 均可适配;
- Agent:与 Model 的输入接口保持一致,模型到智能体的蜕变只需一步,便捷各种 agent 的探索实现;
文档全面升级,API 文档全覆盖。
进入开发机,实操




(作业)完成 Lagent 工具调用 数据分析
运行完成后,输入一个查看效果,但是这个过程等待的时间相对较长,没有任何反应,过了一小段时间,结果被输出。

四、灵笔 InternLM-XComposer2
实现目标
- 部署 InternLM-XComposer2
- 浅尝视觉问答和图文生成 Demo
过程
升级配置

(作业)图文写作

这里等待会比较久

生成的结果图片



图片理解
运行结果,从网上随便找一张,《竹林七贤图》
(作业)视觉问答

(作业)本地下载 HuggingFace 模型


五、其他小知识双链
六、总结
对于基础的 InternLM2-Chat-1.8B 以及怎么运行,下载模型有了进一步的认知;后面在进一步本地运行模型看看,看看不同的模型能够在自己领域内是否有发挥价值的地方。