人工智能

准备

最近研究了大模型以及GPU服务器配置等问题。结论是7B/13B大模型最合适个人本地部署。

如果是进行只需要跑通模型当前流行的6b,7b参数模型，至少要保证显卡10G显存并且cuda版本最好高于11.x，如果是需要训练可能需要更大的显存，16b参数以上的模型还是推荐上V100。
来源: 从零本地部署大模型（零基础友好版）

• 使用Linux系统，因为很多python包目前不支持Windows
• 确定GPU显存和Nvidia版本是否支持(AMD公司的显卡不支持pytorch)，可以通过shell命令查看（Nvidia版本号，CUDA版本号，以及显卡型号和显存大小）:

注： Conda (为了安装的环境可以干净且不受其他项目环境的影响我们应该安装conda并创建一个虚拟空间)

国内镜像

HuggingFace 镜像站 --- hf-mirror

# 安装 hfd
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
apt-get install git-lfs
apt-get install aria2
ln -s /root/tools/hfd.sh /sbin/hfd.sh
vi /etc/profile
# Huggingface Mirror
export HF_ENDPOINT=https://hf-mirror.com

# hfd 下载模型命令, 指定某个文件
hfd.sh hfl/llama-3-chinese-8b-instruct-v3-gguf --include ggml-model-q8_0.gguf --tool aria2c -x 4
# hfd 下载数据集命令
hfd.sh m-a-p/COIG-CQIA --dataset --tool aria2c -x 4

如何快速下载huggingface模型——全方法总结
关于huggingface.co无法访问&大模型下载运行报错解决

国内网站 - modelscope.cn

modelscope 环境安装

conda create -n modelscope python=3.8
conda activate modelscope

pip config set global.index-url https://mirrors.cloud.aliyuncs.com/pypi/simple 
pip config set install.trusted-host mirrors.cloud.aliyuncs.com

pip install modelscope
pip install "modelscope[multi-modal]" 

# 公开数据集下载
git lfs install
git clone https://www.modelscope.cn/datasets/<namespace>/<dataset-name>.git
# 例: git clone https://www.modelscope.cn/datasets/DAMO_NLP/jd.git

国内网站 - wisemodel.cn

国内网站 - sota.jiqizhixin.com

部署

部署自己的大模型
从零本地部署大模型（零基础友好版）
如何构建自己的大模型
零基础零成本，手把手部署一个属于你的私有大模型
使用Ollama和OpenWebUI在CPU上玩转Meta Llama3-8B