164 lines
4.2 KiB
Markdown
164 lines
4.2 KiB
Markdown
# 模型配置
|
||
|
||
## 对话模型
|
||
|
||
系统支持多种大语言模型服务商，通过配置对应的 API 密钥即可使用：
|
||
|
||
| 服务商 | 环境变量 | 特点 |
|
||
|--------|----------|------|
|
||
| [硅基流动](https://cloud.siliconflow.cn/i/Eo5yTHGJ) | `SILICONFLOW_API_KEY` | 🆓 免费额度，默认推荐 |
|
||
| OpenAI | `OPENAI_API_KEY` | GPT 系列模型 |
|
||
| DeepSeek | `DEEPSEEK_API_KEY` | 国产大模型 |
|
||
| OpenRouter | `OPENROUTER_API_KEY` | 多模型聚合平台 |
|
||
| 智谱清言 | `ZHIPUAI_API_KEY` | GLM 系列模型 |
|
||
| 阿里云百炼 | `DASHSCOPE_API_KEY` | 通义千问系列 |
|
||
|
||
其余还支持火山、Together、vLLM、Ollama 等。
|
||
|
||
### 配置方法
|
||
|
||
在 `src/.env` 文件中添加对应的环境变量：
|
||
|
||
<<< @/../src/.env.template#model_provider{bash 2}
|
||
|
||
|
||
::: tip 免费获取 API Key
|
||
[硅基流动](https://cloud.siliconflow.cn/i/Eo5yTHGJ) 注册即送 14 元额度，支持多种开源模型。
|
||
:::
|
||
|
||
## 自定义模型供应商
|
||
|
||
::: warning
|
||
原本网页中的自定义模型已在 `0.3.x` 版本移除，请在 `src/config/static/models.yaml` 中按如下方式配置，并重启服务后选择并使用。此外，这里也推荐一下团队的另外一个小工具 [mvllm (Manage and Route vLLM Servers)](https://github.com/xerrors/mvllm)。
|
||
:::
|
||
|
||
系统理论上兼容任何 OpenAI 兼容的模型服务，包括：
|
||
|
||
- **vLLM**: 高性能推理服务
|
||
- **Ollama**: 本地模型管理
|
||
- **API 中转服务**: 各种代理和聚合服务
|
||
|
||
如需添加新的模型供应商，请按以下步骤操作：
|
||
|
||
### 1. 编辑模型配置文件
|
||
|
||
**方式一：修改默认配置**
|
||
编辑 `src/config/static/models.yaml` 文件
|
||
|
||
**方式二：使用覆盖配置**
|
||
创建自定义配置文件并通过环境变量指定：
|
||
```bash
|
||
# 创建自定义配置文件
|
||
cp src/config/static/models.yaml /path/to/your/custom-models.yaml
|
||
|
||
# 设置环境变量
|
||
export OVERRIDE_DEFAULT_MODELS_CONFIG_WITH=/path/to/your/custom-models.yaml
|
||
```
|
||
|
||
### 2. 添加模型配置
|
||
|
||
在配置文件中添加新的模型供应商：
|
||
|
||
```yaml
|
||
custom-provider-name:
|
||
name: custom-provider-name
|
||
default: custom-model-name
|
||
base_url: "https://api.your-provider.com/v1"
|
||
env: CUSTOM_API_KEY_ENV_NAME # 注意：现在是单个环境变量
|
||
models:
|
||
- supported-model-name
|
||
- another-model-name
|
||
|
||
# 本地 Ollama 服务
|
||
local-ollama:
|
||
name: Local Ollama
|
||
base_url: "http://localhost:11434/v1"
|
||
default: llama3.2
|
||
env: NO_API_KEY # 对于不需要API Key的服务，使用NO_API_KEY
|
||
models:
|
||
- llama3.2
|
||
- qwen2.5
|
||
|
||
# 本地 vLLM 服务
|
||
local-vllm:
|
||
name: Local vLLM
|
||
base_url: "http://localhost:8000/v1"
|
||
default: Qwen/Qwen2.5-7B-Instruct
|
||
env: NO_API_KEY
|
||
models:
|
||
- Qwen/Qwen2.5-7B-Instruct
|
||
- Qwen/Qwen2.5-14B-Instruct
|
||
```
|
||
|
||
### 3. 配置环境变量
|
||
|
||
在 `src/.env` 文件中添加对应的环境变量：
|
||
```env
|
||
CUSTOM_API_KEY_ENV_NAME=your_api_key_here
|
||
```
|
||
|
||
### 4. 重新部署
|
||
|
||
```bash
|
||
docker compose restart api-dev
|
||
```
|
||
|
||
## 嵌入模型和重排序模型
|
||
|
||
::: warning 重要说明
|
||
从 v0.2 版本开始，项目采用微服务架构，模型部署与项目本身完全解耦。如需使用本地模型，需要先通过 vLLM 或 Ollama 部署为 API 服务。
|
||
:::
|
||
|
||
### 本地模型部署
|
||
|
||
#### 1. 配置模型信息
|
||
|
||
在 `src/config/static/models.yaml` 中或通过覆盖配置文件添加配置：
|
||
|
||
```yaml
|
||
EMBED_MODEL_INFO:
|
||
vllm/Qwen/Qwen3-Embedding-0.6B:
|
||
name: Qwen/Qwen3-Embedding-0.6B
|
||
dimension: 1024
|
||
base_url: http://localhost:8000/v1/embeddings
|
||
api_key: no_api_key
|
||
|
||
RERANKER_LIST:
|
||
vllm/BAAI/bge-reranker-v2-m3:
|
||
name: BAAI/bge-reranker-v2-m3
|
||
base_url: http://localhost:8000/v1/rerank
|
||
api_key: no_api_key
|
||
```
|
||
|
||
#### 2. 启动模型服务
|
||
|
||
```bash
|
||
# 启动嵌入模型
|
||
vllm serve Qwen/Qwen3-Embedding-0.6B \
|
||
--task embed \
|
||
--dtype auto \
|
||
--port 8000
|
||
|
||
# 启动重排序模型
|
||
vllm serve BAAI/bge-reranker-v2-m3 \
|
||
--task score \
|
||
--dtype fp16 \
|
||
--port 8000
|
||
```
|
||
|
||
## 常见问题
|
||
|
||
**Q: 如何查看当前可用的模型？**
|
||
|
||
在 Web 界面的"设置"页面可以查看所有已配置的模型。
|
||
|
||
**Q: 模型配置不生效？**
|
||
|
||
1. 检查环境变量是否正确设置
|
||
2. 确认 API 密钥有效
|
||
3. 重启服务：`docker compose restart api-dev`
|
||
|
||
**Q: 如何测试模型连接？**
|
||
|
||
在 Web 界面的对话页面选择对应模型进行测试。
|