【专栏】如何不写一行代码微调大模型—保姆喂饭教程

镜像内目前包含UbuntuOS+Conda运行环境+LLaMA-Factory,解压完成共20+G。

请点击页面中【百度网盘】进行下载

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

LLaMA-Factory

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

运行条件:

  1. 建议运行平台采用Windows11最新版企业操作系统,且安装WSL2,即windows自带虚拟机程序;
  2. 建议主机平台配置不低于 CPU E5 2678/2666 V3,运行内存32G及以上,可用硬盘空间500G及以上;
  3. 显卡建议采用NVIDIA,也就是N卡,且需要满足算力不低于1060,显存不低于5G,建议显卡型号:Nvidia 3060 12G或Nvidia 4060ti 16G;
  4. 显卡驱动已安装且为最新版本;
  5. 通过Windows的PowerShell,运行自检命令:nvidia-smi,以用来检查驱动和当前驱动支持最高的cuda版本,所显示的CUDA Version 低于11的情况,建议升级最新版显卡驱动;下图为我的运行结果,不一样或者没反应的建议先解决再继续下面的教程。

运行效果:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

PMdissOS-Finetuning-V1.0 运行路径参考:

  1. 页面中点击【百度网盘】PMdissOS-Finetuning-v1.0.tar下载链接,并解压,得到一个 .tar 文件,这就是WSL备份完成的镜像文件;
  2. 进入power shell的管理员模式,用wsl命令导入上面tar文件到你的电脑磁盘中;
  3. 通过wsl命令,导入镜像,并运行(作业:自学WSL相关命令);
  4. cd进入conda目录,初始化 conda,并将 conda 写入系统变量中;
  5. cd进入【LLaMA-Factory】目录中,通过python 运行启动命令即可;
  6. 下载Chatglm3-6b大模型;

具体部署:

1、PowerShell管理员模式下,运行wsl --import 导入镜像:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

2、运行镜像:wsl -d 镜像名称;

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

3、cd 进入conda目录下的bin目录,激活conda,并添加环境变量:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

初始化conda:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

将conda路径加入系统变量:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

4、激活 finetuning 虚拟环境:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

5、然后,cd 进入 LLaMA-Factory 目录,运行命令:

CUDA_VISIBLE_DEVICES=0 python src/train_web.py

6、运行效果:

【专栏】如何不用一行代码微调大模型—保姆喂饭级教程

6、下载大模型:

sudo apt-get install git-lfs
git lfs install

【专栏】如何不写一行代码微调大模型—保姆喂饭教程

【专栏】如何不写一行代码微调大模型—保姆喂饭教程

然后可以去摩搭社区,下载所需的模型

【专栏】如何不写一行代码微调大模型—保姆喂饭教程

温馨贴士:

由于每人的运行平台情况不一样,且变量较多,Legend本人不知具体情况且无法控制:系统版本、系统环境、显卡型号、驱动版本、cuda版本、wsl安装和运行、powershell的使用、ubuntu的简单操作,恕教程不能细致入微,为您挨个排雷;

不过可以加我的微信,我可视情况给建议意见:i-am-Young,或18515367283;

收藏

发表评论

PMdiss