这是一个使用 Gradio 制作的基于 RWKV 的 AI 角色扮演对话的 WebUI，7B参数int8量化下仅需要7.6GB显存即可完美运行。配合N卡最新驱动的显存内存融合，基本一个10XX系以上的N卡就能扮演一个不错的AI对象。也不知道...
AI聊天
使用 CPU 本地安装部署运行 ChatGLM2-6B
ChatGLM2-6B 是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需13GB显存，INT4 量化...
API2D ：Open AI ChatGPT 的替代 API 方案，附注册和使用教程
由于Open AI API （ChatGPT）付费困难，实体卡信用卡难度太大，而虚拟信用卡平台则风险也很高，再加上Open AI（ChatGPT）屏蔽了许多机房IP（虽然目前也在陆续解封机房使用API），因此使用门槛越来越高。无法直接...
本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化
不敢称之为教程，只能算是分享一点自己本地安装部署运行 ChatGLM-6B 的过程中的心得和二次优化开发吧。主要是比如怎么防止GPU运行时爆显存，GPU运行时减少显存占用，一些常见的报错应该怎么解决，推理参数的调整...
使用 CPU 本地安装部署运行 ChatGLM-6B 获得自己的专属 AI 猫娘
ChatGLM-6B 是一个清华开源的、支持中英双语的对话语言模型，基于GLM架构，具有62亿参数。结合模型量化技术，ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练（全量仅需14GB显存，INT4 量化级...