docs: 更新 README,添加本地模型配置和常见问题解答
This commit is contained in:
parent
7b846ff76b
commit
242d990fe2
75
README.md
75
README.md
@ -71,29 +71,12 @@ docker compose up --build
|
||||
|
||||
> 添加 `-d` 参数可在后台运行
|
||||
|
||||
成功启动后,会看到以下容器:
|
||||
|
||||
```
|
||||
[+] Running 7/7
|
||||
✔ Network docker_app-network Created
|
||||
✔ Container graph-dev Started
|
||||
✔ Container milvus-etcd-dev Started
|
||||
✔ Container milvus-minio-dev Started
|
||||
✔ Container milvus-standalone-dev Started
|
||||
✔ Container api-dev Started
|
||||
✔ Container web-dev Started
|
||||
```
|
||||
|
||||
注:当内存不足时,可能会出现 Milvus 没有正常启动的情况。此时需要运行 `docker compose up milvus -d` 重新启动 Milvus,并重启 API 服务 `docker restart api-dev`。
|
||||
|
||||
访问 [http://localhost:5173/](http://localhost:5173/) 即可使用系统。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
### 服务管理
|
||||
|
||||
**关闭服务**:
|
||||
|
||||
```bash
|
||||
@ -103,7 +86,7 @@ docker compose down
|
||||
**查看日志**:
|
||||
|
||||
```bash
|
||||
docker logs <容器名称> # 例如:docker logs api-dev
|
||||
docker logs <容器名称> -f # 例如:docker logs api-dev
|
||||
```
|
||||
|
||||
## 💻 模型支持
|
||||
@ -141,6 +124,16 @@ ark:
|
||||
- deepseek-r1-250120
|
||||
```
|
||||
|
||||
### 如何配置本地大语言模型?
|
||||
|
||||
支持添加以 OpenAI 兼容模式运行的本地模型,可在 Web 设置中直接添加(适用于 vllm 和 Ollama 等)。 参考 [scripts/vllm/run.sh](scripts/vllm/run.sh) 中的配置,运行该脚本即可部署本地模型,或者使用 Ollama 部署模型。
|
||||
|
||||
> [!NOTE]
|
||||
> 使用 docker 运行此项目时,ollama 或 vllm 需监听 `0.0.0.0`
|
||||
|
||||

|
||||
|
||||
|
||||
### 服务说明
|
||||
|
||||
项目中会启动多个服务,包括但不限于下面
|
||||
@ -160,9 +153,10 @@ ark:
|
||||
|
||||
### 2. 向量模型和重排序模型
|
||||
|
||||
强烈建议测试阶段先使用硅基流动部署的 bge-m3(免费且无需修改)。其他模型配置参考 [src/static/models.yaml](src/static/models.yaml)。
|
||||
> 提醒:在 0.2.0 版本之后,将不再支持本地向量模型和本地重排序模型,届时除了 OCR 之外(CPU-ONLY),项目本身启动后不会运行任何 AI 模型。其余的 Embedding、Reranker 模型将需要使用单独的部署脚本,与项目本身的服务解耦。
|
||||
|
||||
选择 `local` 前缀的模型会自动下载。如遇下载问题,请参考 [HF-Mirror](https://hf-mirror.com/) 配置。详细配置过程请参考 [how-to.md](./docs/how-to.md)。
|
||||
~~强烈建议测试阶段先使用硅基流动部署的 bge-m3(免费且无需修改)。其他模型配置参考 [src/static/models.yaml](src/static/models.yaml)~~
|
||||
~~选择 `local` 前缀的模型会自动下载。如遇下载问题,请参考 [HF-Mirror](https://hf-mirror.com/) 配置。~~
|
||||
|
||||
## 📚 知识库功能
|
||||
|
||||
@ -180,19 +174,52 @@ ark:
|
||||
|
||||
然后在网页的图谱管理中添加此文件。
|
||||
|
||||
> [!说明]
|
||||
> 现阶段项目使用的 OneKE 自动创建知识图谱效果不佳,已暂时移除,建议在项目外创建知识图谱
|
||||
|
||||
系统启动后会自动启动 neo4j 服务:
|
||||
|
||||
- 访问地址:[http://localhost:7474/](http://localhost:7474/)
|
||||
- 默认账户:`neo4j`
|
||||
- 默认密码:`0123456789`
|
||||
|
||||
可在 `docker-compose.yml` 中修改配置(注意同时修改 `api.environment` 和 `graph.environment`)。
|
||||
可在 `docker-compose.yml` 中修改配置。
|
||||
|
||||
如已有基于 neo4j 的知识图谱,可删除 `docker-compose.yml` 中的 `graph` 配置项,并修改 `api.environment` 中的 `NEO4J_URI` 为您的 neo4j 服务地址。同时,需要确保节点的标签中包含 Entity 标签,才能正常触发索引。
|
||||
|
||||
## 常见问题
|
||||
|
||||
### 如何优雅的拉取镜像?
|
||||
|
||||
使用 `bash docker/pull_image.sh python:3.12` 就可以。
|
||||
|
||||
|
||||
### 如何配置 MinerU 或者 PP-Structure-V3 抽取数据
|
||||
|
||||
在 PDF 数据处理中,可以选择配置 [MinerU](https://github.com/opendatalab/MinerU) 来实现更快速、更准确的 PDF 识别效果。
|
||||
|
||||
```bash
|
||||
docker compose up mineru --build # 启动 mineru 2.0
|
||||
|
||||
docker compose up paddlex --build # 启动 PP-Structure-V3 服务
|
||||
```
|
||||
|
||||
### 如果想要不依赖显卡启动本项目?
|
||||
|
||||
在 0.2.0 正式版的时候会考虑移除显卡启动设置,将现有的服务全部解耦剥离出去。 [#213](https://github.com/xerrors/Yuxi-Know/issues/213)
|
||||
|
||||
只需要修改现在的 docker-compose.yml,删除现有的 deploy 部分代码,但是需要注意的是,这样的话,就无法使用本地模型 [#209](https://github.com/xerrors/Yuxi-Know/issues/209)。
|
||||
|
||||
```yml
|
||||
services:
|
||||
......
|
||||
# deploy:
|
||||
# resources:
|
||||
# reservations:
|
||||
# devices:
|
||||
# - driver: nvidia
|
||||
# device_ids: ['1']
|
||||
# capabilities: [gpu]
|
||||
```
|
||||
|
||||
|
||||
## 贡献者名单
|
||||
|
||||
感谢以下贡献者的支持!
|
||||
|
||||
Loading…
Reference in New Issue
Block a user