docs: 更新 README,添加本地模型配置和常见问题解答

This commit is contained in:
Wenjie Zhang 2025-06-28 20:39:03 +08:00
parent 7b846ff76b
commit 242d990fe2

View File

@ -71,29 +71,12 @@ docker compose up --build
> 添加 `-d` 参数可在后台运行
成功启动后,会看到以下容器:
```
[+] Running 7/7
✔ Network docker_app-network Created
✔ Container graph-dev Started
✔ Container milvus-etcd-dev Started
✔ Container milvus-minio-dev Started
✔ Container milvus-standalone-dev Started
✔ Container api-dev Started
✔ Container web-dev Started
```
注:当内存不足时,可能会出现 Milvus 没有正常启动的情况。此时需要运行 `docker compose up milvus -d` 重新启动 Milvus并重启 API 服务 `docker restart api-dev`
访问 [http://localhost:5173/](http://localhost:5173/) 即可使用系统。
### 服务管理
**关闭服务**
```bash
@ -103,7 +86,7 @@ docker compose down
**查看日志**
```bash
docker logs <容器名称> # 例如docker logs api-dev
docker logs <容器名称> -f # 例如docker logs api-dev
```
## 💻 模型支持
@ -141,6 +124,16 @@ ark:
- deepseek-r1-250120
```
### 如何配置本地大语言模型?
支持添加以 OpenAI 兼容模式运行的本地模型,可在 Web 设置中直接添加(适用于 vllm 和 Ollama 等)。 参考 [scripts/vllm/run.sh](scripts/vllm/run.sh) 中的配置,运行该脚本即可部署本地模型,或者使用 Ollama 部署模型。
> [!NOTE]
> 使用 docker 运行此项目时ollama 或 vllm 需监听 `0.0.0.0`
![本地模型配置](./docs/images/custom_models.png)
### 服务说明
项目中会启动多个服务,包括但不限于下面
@ -160,9 +153,10 @@ ark:
### 2. 向量模型和重排序模型
强烈建议测试阶段先使用硅基流动部署的 bge-m3免费且无需修改。其他模型配置参考 [src/static/models.yaml](src/static/models.yaml)
> 提醒:在 0.2.0 版本之后,将不再支持本地向量模型和本地重排序模型,届时除了 OCR 之外CPU-ONLY项目本身启动后不会运行任何 AI 模型。其余的 Embedding、Reranker 模型将需要使用单独的部署脚本,与项目本身的服务解耦
选择 `local` 前缀的模型会自动下载。如遇下载问题,请参考 [HF-Mirror](https://hf-mirror.com/) 配置。详细配置过程请参考 [how-to.md](./docs/how-to.md)。
~~强烈建议测试阶段先使用硅基流动部署的 bge-m3免费且无需修改。其他模型配置参考 [src/static/models.yaml](src/static/models.yaml)~~
~~选择 `local` 前缀的模型会自动下载。如遇下载问题,请参考 [HF-Mirror](https://hf-mirror.com/) 配置。~~
## 📚 知识库功能
@ -180,19 +174,52 @@ ark:
然后在网页的图谱管理中添加此文件。
> [!说明]
> 现阶段项目使用的 OneKE 自动创建知识图谱效果不佳,已暂时移除,建议在项目外创建知识图谱
系统启动后会自动启动 neo4j 服务:
- 访问地址:[http://localhost:7474/](http://localhost:7474/)
- 默认账户:`neo4j`
- 默认密码:`0123456789`
可在 `docker-compose.yml` 中修改配置(注意同时修改 `api.environment``graph.environment`
可在 `docker-compose.yml` 中修改配置。
如已有基于 neo4j 的知识图谱,可删除 `docker-compose.yml` 中的 `graph` 配置项,并修改 `api.environment` 中的 `NEO4J_URI` 为您的 neo4j 服务地址。同时,需要确保节点的标签中包含 Entity 标签,才能正常触发索引。
## 常见问题
### 如何优雅的拉取镜像?
使用 `bash docker/pull_image.sh python:3.12` 就可以。
### 如何配置 MinerU 或者 PP-Structure-V3 抽取数据
在 PDF 数据处理中,可以选择配置 [MinerU](https://github.com/opendatalab/MinerU) 来实现更快速、更准确的 PDF 识别效果。
```bash
docker compose up mineru --build # 启动 mineru 2.0
docker compose up paddlex --build # 启动 PP-Structure-V3 服务
```
### 如果想要不依赖显卡启动本项目?
在 0.2.0 正式版的时候会考虑移除显卡启动设置,将现有的服务全部解耦剥离出去。 [#213](https://github.com/xerrors/Yuxi-Know/issues/213)
只需要修改现在的 docker-compose.yml删除现有的 deploy 部分代码,但是需要注意的是,这样的话,就无法使用本地模型 [#209](https://github.com/xerrors/Yuxi-Know/issues/209)。
```yml
services:
......
# deploy:
# resources:
# reservations:
# devices:
# - driver: nvidia
# device_ids: ['1']
# capabilities: [gpu]
```
## 贡献者名单
感谢以下贡献者的支持!