ChatGPT本地化 | 如何在你的电脑上部署开源GPT-3语言模型 | LLaMA & Alpaca

相关阅读

视频讲解

本期视频，我将向你演示如何使用dalai在个人电脑上部署先进的大型语言模型。是的，你没有听错，最大的开源模型已经支持了650亿参数，基本是对标ChatGPT之前的text-davinci-003，有了这个库，我们可以执行基础性的LLaMA语言模型和Alpaca模型，它能够遵守与ChatGPT类似的指令。LLaMA模型是一个广泛的语言模型，能够根据给定的输入序列预测下一个单词，而Alpaca模型是LLaMA的一个微调版本，能够遵循指令。令人惊讶的是，与GPT的对应模型相比，这两种模型都能取得相当甚至更优的结果，而且还能适合你的本地计算机。

相关资料

部署你只需要装好Node.js环境，然后运行下面两行命令即可

• 选择你要安装的语言模型，因为650亿参数的模型要400-500GB，所以我这里选择的是70亿参数的模型

npx dalai alpaca install 7B

• 运行web UI界面

npx dalai serve

常见问题

默认安装在C盘，如何自定义安装路径，可以参考下面的命令

npx dalai alpaca install 7B --prefix D:\Installations