diff --git a/README.md b/README.md
index 02242e1a..448ce1b2 100644
--- a/README.md
+++ b/README.md
@@ -1,8 +1,8 @@
-
语析 (基于大模型的知识库+知识图谱问答平台)
+语析 - 基于大模型的知识库与知识图谱问答平台

-
+



@@ -10,52 +10,61 @@
-## 概述
+## 📝 项目概述
-基于大模型 RAG 知识库与知识图谱的问答平台。Llamaindex + VueJS + Flask + Neo4j。大模型适配 OpenAI、国内主流大模型平台的模型调用、本地 vllm 部署。只需要配置对应服务平台的 `API_KEY` 即可使用。
+语析是一个强大的问答平台,结合了大模型 RAG 知识库与知识图谱技术,基于 Llamaindex + VueJS + FastAPI + Neo4j 构建。
-
+**核心特点:**
-> [!NOTE]
-> 当前项目还处于开发的早期,还存在一些 BUG,有问题随时提 issue。
+- 🤖 多模型支持:适配 OpenAI、各大国内主流大模型平台,以及本地 vllm 部署
+- 📚 灵活知识库:支持 PDF、TXT、MD 等多种格式文档
+- 🕸️ 知识图谱集成:基于 Neo4j 的知识图谱问答能力
+- 🚀 简单配置:只需配置对应服务平台的 `API_KEY` 即可使用
-代办清单
+
-- [ ] Ollma Embedding 支持(Open-like Embedding 支持)
-- [ ] embedding 过程添加进度显示
-- [X] 知识图谱索引支持自定义 Embedding 模型
-- [X] DeepSeek-R1 支持
+## 📋 更新日志
-## 更新日志
+- **2025.02.24** - 新增网页检索以及内容展示,需配置 `TAVILY_API_KEY`,感谢 [littlewwwhite](https://github.com/littlewwwhite)
+- **2025.02.23** - SiliconFlow 的 Rerank 和 Embedding model 支持,现默认使用 SiliconFlow
+- **2025.02.20** - DeepSeek-R1 支持,需配置 `DEEPSEEK_API_KEY` 或 `SILICONFLOW_API_KEY`
+- **2024.10.12** - 后端修改为 [FastAPI](https://github.com/fastapi),添加 [Milvus-Standalone](https://github.com/milvus-io) 独立部署
-- 2025.02.24 新增网页检索以及内容展示,需要配置 `TAVILY_API_KEY`, 感谢 [littlewwwhite](https://github.com/littlewwwhite)。
-- 2025.02.23 SiliconFlow 的 Rerank 和 Embedding model 支持。现在默认使用 SiliconFlow。
-- 2025.02.20 DeepSeek-R1 支持,需配置 `DEEPSEEK_API_KEY` 或者 `SILICONFLOW_API_KEY` 使用
-- 2024.10.12 后端修改为 [FastAPI](https://github.com/fastapi),并添加了 [Milvus-Standalone](https://github.com/milvus-io) 的独立部署。
+
-
+## 🚀 快速上手
-## 快速上手
+### 环境配置
-在启动之前,提供 API 服务商的 API_KEY,并放置在 `src/.env` 文件中。默认使用的是硅基流动。因此务必需要配置 `SILICONFLOW_API_KEY=`。其余模型的配置可以参考 [src/static/models.yaml](src/static/models.yaml) 中的 env。
+在启动前,您需要提供 API 服务商的 API_KEY,并放置在 `src/.env` 文件中。
+
+默认使用硅基流动的服务,因此**必须**配置:
```
SILICONFLOW_API_KEY=sk-270ea********8bfa97.e3XOMd****Q1Sk
```
-本项目的基础对话服务可以在不含显卡的设备上运行,大模型使用在线服务商的接口。如果需要指定本地模型(如 Embedding、Rerank 模型)所在路径,需要配置 `MODEL_DIR` 参数。并在 Docker Compose 中启用映射。
+> 本项目的基础对话服务可在不含显卡的设备上运行,大模型使用在线服务商的接口。
-**提醒**:下面的脚本会启动开发版本,源代码的修改会自动更新(含前端和后端)。如果生产环境部署,请使用 `docker/docker-compose.yml` 启动。
+### 启动服务
+
+**开发环境启动**(源代码修改会自动更新):
```bash
docker compose -f docker/docker-compose.dev.yml --env-file src/.env up --build
```
-**也可以加上 `-d` 参数,后台运行。*
+> 添加 `-d` 参数可在后台运行
-下面的这些容器都会启动:
+**生产环境部署**请使用:
```bash
+docker compose -f docker/docker-compose.yml --env-file src/.env up --build -d
+```
+
+成功启动后,会看到以下容器:
+
+```
[+] Running 7/7
✔ Network docker_app-network Created
✔ Container graph-dev Started
@@ -66,37 +75,31 @@ docker compose -f docker/docker-compose.dev.yml --env-file src/.env up --build
✔ Container web-dev Started
```
-然后打开 [http://localhost:5173/](http://localhost:5173/) 就可以看到结果了。
+访问 [http://localhost:5173/](http://localhost:5173/) 即可使用系统。
-**预览**
+### 系统预览
-
+
-关闭 docker 服务:
+### 服务管理
+
+**关闭服务**:
```bash
docker compose -f docker/docker-compose.dev.yml --env-file src/.env down
```
-查看日志:
+**查看日志**:
```bash
-docker logs # 例如:docker logs api-dev
+docker logs <容器名称> # 例如:docker logs api-dev
```
-**生产环境部署**:本项目同时支持使用 Docker 部署生产环境,只需要更换 `docker-compose` 文件就可以了。
+## 💻 模型支持
-```bash
-docker compose -f docker/docker-compose.yml --env-file src/.env up --build
-```
+### 1. 对话模型
-注:如果想要在本地使用 PyCharm 等 IDE 加断点调试,可以使用 Docker 运行除 API 以外的容器,然后本地运行 main.py,但是需要注意将对应的环境变量添加到 .env 文件中
-
-## 模型支持
-
-### 1. 对话模型支持
-
-模型仅支持通过API调用的模型,如果是需要运行本地模型,则建议使用 vllm 转成 API 服务之后使用。使用前请在 `.env` 配置 APIKEY 后使用,配置项目参考:[src/static/models.yaml](src/static/models.yaml)
+本项目支持通过 API 调用的模型,本地模型需使用 vllm、ollama 转成 API 服务后使用。
| 模型供应商 | 默认模型 | 配置项目 |
| :--------------------- | :---------------------------------- | :--------------------------------------------- |
@@ -108,62 +111,89 @@ docker compose -f docker/docker-compose.yml --env-file src/.env up --build
| `dashscope`(阿里) | `qwen-max-latest` | `DASHSCOPE_API_KEY` |
| `qianfan`(百度) | `ernie_speed` | `QIANFAN_ACCESS_KEY`, `QIANFAN_SECRET_KEY` |
-此外,如果想要添加供应商的模型,确认知识 OpenAI 调用的方法之后,只需要在 [src/static/models.yaml](src/static/models.yaml) 中添加对应的模型配置即可。配置示例如下:
+#### 添加新模型供应商
+
+如需添加供应商模型,了解 OpenAI 调用方法后,只需在 [src/static/models.yaml](src/static/models.yaml) 中添加对应配置:
```yaml
- ark:
- name: 豆包(Ark)
- url: https://console.volcengine.com/ark/region:ark+cn-beijing/model # 模型列表
- default: doubao-1-5-pro-32k-250115 # 默认模型
- base_url: https://ark.cn-beijing.volces.com/api/v3
- env: # 需要配置的环境变量,仅限API key
- - ARK_API_KEY
- models:
- - doubao-1-5-pro-32k-250115
- - doubao-1-5-lite-32k-250115
- - deepseek-r1-250120
+ark:
+ name: 豆包(Ark)
+ url: https://console.volcengine.com/ark/region:ark+cn-beijing/model # 模型列表
+ default: doubao-1-5-pro-32k-250115 # 默认模型
+ base_url: https://ark.cn-beijing.volces.com/api/v3
+ env: # 需要配置的环境变量,仅限API key
+ - ARK_API_KEY
+ models:
+ - doubao-1-5-pro-32k-250115
+ - doubao-1-5-lite-32k-250115
+ - deepseek-r1-250120
```
-同样支持添加以 OpenAI 的兼容模式运行的单个模型,可以直接在 Web 设置里面添加。比如使用 vllm 和 Ollama 运行本地模型时。
+#### 本地模型部署
-
+支持添加以 OpenAI 兼容模式运行的本地模型,可在 Web 设置中直接添加(适用于 vllm 和 Ollama 等)。
-### 2. 向量模型支持和重排序模型支持
+> [!注意]
+> 使用 docker 运行此项目时,ollama 或 vllm 需监听 `0.0.0.0`
-建议直接使用硅基流动部署的 bge-m3,这样不需要做任何修改,且免费。其余模型参考:[src/static/models.yaml](src/static/models.yaml)
+
-> [!Warning]
-> 需要注意,由于知识库和图数据库的构建都依赖于向量模型,如果中途更改向量模型,会导致知识库不可用。此外,知识图谱的向量索引的建立默认使用 embedding-3 构建,因此检索的时候必须使用 embedding-3(现阶段还不支持修改)
+### 2. 向量模型与重排序模型
-对于**语言模型**,并不支持直接运行本地语言模型,请使用 vllm 或者 ollama 转成 API 服务之后使用。
+建议使用硅基流动部署的 bge-m3(免费且无需修改)。其他模型配置参考 [src/static/models.yaml](src/static/models.yaml)。
-对于**向量模型**和**重排序模型**,选择以 `local` 前缀开头的模型,可以不做修改会自动下载模型,如果下载过程中出现问题,请参考 [HF-Mirror](https://hf-mirror.com/) 配置相关内容。(但请注意,如果是 Docker 运行,模型仅会缓存到 Docker 里面)
+对于**向量模型**和**重排序模型**,选择 `local` 前缀的模型会自动下载。如遇下载问题,请参考 [HF-Mirror](https://hf-mirror.com/) 配置。
-如果想要使用本地已经下载好的模型,可以在网页的 settings 里面做映射。或者修改 `saves/config/base.yaml` 来配置映射关系。但请记得,本地模型的路径要在 docker-compose 的文件中映射 volumes。
+要使用已下载的本地模型,可在网页设置中映射,或修改 `saves/config/base.yaml`。记得在 docker-compose 中映射相应的 volumes。
-## 知识库支持
+## 📚 知识库支持
-本项目支持多种格式的知识库,目前支持的格式有:pdf、txt、md。文件上传后,会首先转换为纯文本,然后使用向量模型将文本转换为向量,然后存储到向量数据库中。这个过程可能会花费不少时间。
+本项目支持多种格式的知识库文件:
-## 知识图谱支持
+- PDF
+- Txt
+- Markdown
+- Docx
-> [!NOTE]
-> 现阶段项目所使用的 OneKE 自动创建知识图谱的效果并不是很好,暂时移除了,建议在项目外创建知识图谱**
+文件上传后,系统会:
-本项目支持 Neo4j 作为知识图谱的存储。需要将图谱整理成 jsonl 的格式,每一行都是 {"h": "北京", "t": "中国", "r": "首都"} 这样的格式,然后在网页的图谱管理里面添加这个文件。
+1. 将文件转换为纯文本
+2. 使用向量模型将文本转换为向量
+3. 存储到向量数据库中
-项目启动后会自动启动 neo4j 服务,可以直接使用 [http://localhost:7474/](http://localhost:7474/) 去访问和管理图数据库,初始默认的账户密码是 `neo4j` 和 `0123456789`。可以在 `docker/docker-compose.yml` 和 `docker\docker-compose.dev.yml` 中修改(注:`api.environment` 和 `graph.environment` 都需要修改)。
+> 此过程可能需要一定时间,请耐心等待。
-目前项目中暂不支持同时查询多个知识图谱,短期内也没有计划支持。不过倒是可以通过配置不同的 `NEO4J_URI` 服务来切换知识图谱。如果已经有了基于 neo4j 的知识图谱,可以将 `docker-compose.yml` 中的 `graph` 配置项删除,并将 `api.environment` 中的 `NEO4J_URI` 配置项修改为 neo4j 的服务地址。
+## 🕸️ 知识图谱支持
-## 相关问题
+本项目使用 Neo4j 作为知识图谱存储。您需要将图谱整理成 jsonl 格式,每行格式为:
+
+```
+{"h": "北京", "t": "中国", "r": "首都"}
+```
+
+然后在网页的图谱管理中添加此文件。
+
+> [!说明]
+> 现阶段项目使用的 OneKE 自动创建知识图谱效果不佳,已暂时移除,建议在项目外创建知识图谱
+
+系统启动后会自动启动 neo4j 服务:
+
+- 访问地址:[http://localhost:7474/](http://localhost:7474/)
+- 默认账户:`neo4j`
+- 默认密码:`0123456789`
+
+可在 `docker/docker-compose.yml` 和 `docker/docker-compose.dev.yml` 中修改配置(注意同时修改 `api.environment` 和 `graph.environment`)。
+
+目前项目暂不支持同时查询多个知识图谱。如已有基于 neo4j 的知识图谱,可删除 `docker-compose.yml` 中的 `graph` 配置项,并修改 `api.environment` 中的 `NEO4J_URI` 为您的 neo4j 服务地址。
+
+## ❓ 常见问题
### 镜像下载问题
-如果无法直接下载相关镜像,参考 [DaoCloud/public-image-mirror](https://github.com/DaoCloud/public-image-mirror?tab=readme-ov-file#%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B),尝试将前缀替换为:
+如无法直接下载相关镜像,可参考 [DaoCloud/public-image-mirror](https://github.com/DaoCloud/public-image-mirror?tab=readme-ov-file#%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8B),尝试替换前缀:
```bash
-# 以 neo4j 为例,其余一样
+# 以 neo4j 为例,其余类似
docker pull m.daocloud.io/docker.io/library/neo4j:latest
# 然后重命名镜像
diff --git a/docker/docker-compose.dev.yml b/docker/docker-compose.dev.yml
index 5eb9939e..4bc42601 100644
--- a/docker/docker-compose.dev.yml
+++ b/docker/docker-compose.dev.yml
@@ -16,12 +16,15 @@ services:
- milvus
networks:
- app-network
+ extra_hosts:
+ - "host.docker.internal:host-gateway"
environment:
- NEO4J_URI=bolt://graph:7687
- NEO4J_USERNAME=neo4j
- NEO4J_PASSWORD=0123456789
- MILVUS_URI=http://milvus:19530
- MODEL_DIR=${MODEL_DIR} # 优先级高于 .env 中的 MODEL_DIR
+ - RUNNING_IN_DOCKER=true
command: uvicorn src.main:app --host 0.0.0.0 --port 5050 --reload
web:
diff --git a/docker/web.Dockerfile b/docker/web.Dockerfile
index 3a3624fb..20737eb3 100644
--- a/docker/web.Dockerfile
+++ b/docker/web.Dockerfile
@@ -6,8 +6,8 @@ WORKDIR /app
COPY ./web/package*.json ./
# 安装依赖
-# RUN npm install --verbose --force
-RUN npm install --registry http://mirrors.cloud.tencent.com/npm/ --verbose --force
+RUN npm install --verbose --force
+# RUN npm install --registry http://mirrors.cloud.tencent.com/npm/ --verbose --force
# 复制源代码
COPY ./web .
@@ -22,8 +22,8 @@ FROM node:latest AS build-stage
WORKDIR /app
COPY ./web/package*.json ./
-# RUN npm install --force
-RUN npm install --registry https://registry.npmmirror.com --force
+RUN npm install --force
+# RUN npm install --registry https://registry.npmmirror.com --force
COPY ./web .
RUN npm run build
diff --git a/src/models/__init__.py b/src/models/__init__.py
index e4ec33e4..99655a2c 100644
--- a/src/models/__init__.py
+++ b/src/models/__init__.py
@@ -7,8 +7,8 @@ from src.models.chat_model import OpenAIBase
def select_model(config, model_provider=None, model_name=None):
model_provider = model_provider or config.model_provider
- model_info = config.model_names[model_provider]
- model_name = model_name or config.model_name or model_info["default"]
+ model_info = config.model_names.get(model_provider, {})
+ model_name = model_name or config.model_name or model_info.get("default", "")
logger.info(f"Selecting model from `{model_provider}` with `{model_name}`")
diff --git a/src/models/chat_model.py b/src/models/chat_model.py
index 49f1df9b..d146b3bf 100644
--- a/src/models/chat_model.py
+++ b/src/models/chat_model.py
@@ -44,11 +44,21 @@ class OpenModel(OpenAIBase):
super().__init__(api_key=api_key, base_url=base_url, model_name=model_name)
+def get_docker_safe_url(base_url):
+ if os.getenv("RUNNING_IN_DOCKER") == "true":
+ # 替换所有可能的本地地址形式
+ base_url = base_url.replace("http://localhost", "http://host.docker.internal")
+ base_url = base_url.replace("http://127.0.0.1", "http://host.docker.internal")
+ logger.info(f"Running in docker, using {base_url} as base url")
+ return base_url
+
+
class CustomModel(OpenAIBase):
def __init__(self, model_info):
model_name = model_info["name"]
api_key = model_info["api_key"]
- base_url = model_info["api_base"]
+ base_url = get_docker_safe_url(model_info["api_base"])
+
super().__init__(api_key=api_key, base_url=base_url, model_name=model_name)