ollama & open webui

# Ubuntu 安装
curl -fsSL https://ollama.com/install.sh | sh       # 大小 317M
systemctl status ollama

// 配置并行多任务
vi /etc/systemd/system/ollama.service
------------------------------------------------------------
# 为每个环境变量，在 [Service] 部分下添加一行 Environment：
[Service]
Environment="OLLAMA_MAX_LOADED_MODELS=6"
Environment="OLLAMA_NUM_PARALLEL=6"
------------------------------------------------------------
systemctl daemon-reload
systemctl restart ollama

ollama 常用命令

ollama list            # 显示模型
ollama ps              # 显示模型运行情况
ollama pull llama3     # 从ollama的模型库中拉取一个模型到本地, 大小 4.7G
ollama run llama3      # 运行模型
ollama run llamafamily/llama3-chinese-8b-instruct         # 下拉并运行模型

# 从GGUF导入模型
// 创建一个名为 modelfile 的文件，并在其中指定要导入的模型路径
------------------------------------------------------------
FROM path/your-model.gguf
------------------------------------------------------------
// 下面的命令来创建模型
ollama create your-model-name -f modelfile    # 可以根据Modelfile创建一个新的模型
// 通过运行以下命令来启动模型：
ollama run your-model-name

=================================================================================

open webui 安装+配置

Open-WebUI 非Docker安装open in new window

# Node.js >= 20.10
# Python >= 3.11

git clone https://github.com/open-webui/open-webui.git
cd open-webui/

cp -RPp .env.example .env
npm i
npm run build

# Serving Frontend with the Backend
cd ./backend
pip install -r requirements.txt -U       # 顺利的话20多分钟, 需退出 conda 虚拟环境
bash start.sh

// 配置环境变量  vi /etc/profile
------------------------------------------------------------
# HF-Mirror
export HF_ENDPOINT=https://hf-mirror.com
------------------------------------------------------------
// 配置端口号
修改backend/start.sh文件中第8行 PORT="${PORT:-80}"
// 配置默认中文
vi backend/data/config.json
------------------------------------------------------------
"default_locale": "en-US"  ==>  "zh-CN"
------------------------------------------------------------

// 配置新用户角色权限
修改backend/config.py文件中第551行，DEFAULT_USER_ROLE = os.getenv("DEFAULT_USER_ROLE", "pending")，
将pending修改为user（普通用户）或admin（管理员），以后每次注册的账号就不需要管理员分配权限。

// 开机自启动
vi /etc/init.d/open-webui.sh
------------------------------------------------------------
#! /bin/sh
  
### BEGIN INIT INFO
# Provides:       open-webui-service
# Required-Start:    $local_fs $remote_fs $network $syslog $named
# Required-Stop:     $local_fs $remote_fs $network $syslog $named
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: starts the open webui service
# Description:       starts open-webui
### END INIT INFO

cd /root/open-webui/backend/
nohup bash start.sh > /dev/null 2>&1 &
------------------------------------------------------------

chmod +x /etc/init.d/open-webui.sh
update-rc.d open-webui.sh defaults 90
update-rc.d -f open-webui.sh remove   # 删除
systemctl status open-webui

问题：open-webui 配置开机自启动后, 启动失败解决：安装 open-webui 是基于 conda 虚拟环境安装的, 退出 conda 再安装一遍。

ollama & open webui

ollama 下载安装

ollama 常用命令

open webui 安装+配置