diff --git a/README.md b/README.md index 49e9d5d6..febad02e 100644 --- a/README.md +++ b/README.md @@ -14,7 +14,14 @@ ## 快速上手 -在启动之前，提供 API 服务商的 API_KEY，并放置在 `src/.env` 文件中，参考 `src/.env.template`。默认使用的是智谱AI。需要配置 `ZHIPUAI_API_KEY=`。 +在启动之前，提供 API 服务商的 API_KEY，并放置在 `src/.env` 文件中。默认使用的是智谱AI。因此务必需要配置 `ZHIPUAI_API_KEY=`。其余模型的配置可以参考 [src/config/models.yaml](src/config/models.yaml) 中的 env。 + +``` +ZHIPUAI_API_KEY=270ea********8bfa97.e3XOMd****Q1Sk +OPENAI_API_KEY=sk-*********[可选] +``` + + 本项目的基础对话服务可以在不含显卡的设备上运行，大模型使用在线服务商的接口。但是如果想要完整的知识库对话体验，则需要 8G 以上的显存。因为需要本地运行 embedding 模型和 rerank 模型。 **提醒**：下面的脚本会启动开发版本，源代码的修改会自动更新（含前端和后端）。如果生产环境部署，请使用 ` docker/docker-compose.yml` 启动。 @@ -23,6 +30,9 @@ docker-compose -f docker/docker-compose.dev.yml up --build ``` +**也可以加上 `-d` 参数，后台运行。* + + 下面的这些容器都会启动： ```bash @@ -36,6 +46,8 @@ docker-compose -f docker/docker-compose.dev.yml up --build ✔ Container web-dev Started ``` +然后打开 `[http://localhost:5173/](http://localhost:5173/)` 就可以看到结果了。 + **预览** ![DEMO.GIF](./images/demo.gif) @@ -52,7 +64,7 @@ docker-compose -f docker/docker-compose.dev.yml down docker logs # 例如：docker logs api-dev ``` -如果需要使用到本地模型，比如向量模型或者重排序模型，则需要将环境变量中设置的 `MODEL_ROOT_DIR` 做映射，比如本地模型都是存放在 `/hdd/models` 里面，则需要在 `docker-compose.yml` 和 `docker-compose.dev.yml` 中添加： +如果需要使用到本地模型（不推荐手动指定），比如向量模型或者重排序模型，则需要将环境变量中设置的 `MODEL_ROOT_DIR` 做映射，比如本地模型都是存放在 `/hdd/models` 里面，则需要在 `docker-compose.yml` 和 `docker-compose.dev.yml` 中添加： ```yml services: @@ -74,6 +86,72 @@ services: docker-compose -f docker/docker-compose.yml up --build ``` +## 模型支持 + +### 1. 对话模型支持 + +模型仅支持通过API调用的模型，如果是需要运行本地模型，则建议使用 vllm 转成 API 服务之后使用。使用前请在 `.env` 配置 APIKEY 后使用，配置项目参考：[src/config/models.yaml](src/config/models.yaml) + +|模型供应商|默认模型|配置项目| +|:-|:-|:-| +|`openai` | `gpt-4o` | `OPENAI_API_KEY` | +|`qianfan`（百度）|`ernie_speed`|`QIANFAN_ACCESS_KEY`, `QIANFAN_SECRET_KEY`| +|`zhipu`(default)|`glm-4`|`ZHIPUAI_API_KEY`| +|`dashscope`（阿里） | `qwen-max-latest` | `DASHSCOPE_API_KEY`| +|`deepseek`|`deepseek-chat`|`DEEPSEEK_API_KEY`| +|`siliconflow` | `meta-llama/Meta-Llama-3.1-8B-Instruct` | `SILICONFLOW_API_KEY`| + +同样支持以 OpenAI 的兼容模型运行模型，可以直接在 Web 设置里面添加。比如使用 vllm 和 Ollama 运行本地模型时。 + +### 2. 向量模型支持 + +建议直接使用智谱 AI 的 embedding-3，这样不需要做任何修改，且资费不贵。 + +> [!Warning] +> 需要注意，由于知识库和图数据库的构建都依赖于向量模型，如果中途更改向量模型，回导致知识库不可用。此外，知识图谱的向量索引的建立默认使用 embedding-3 构建，因此检索的时候必须使用 embedding-3（现阶段还不支持修改） + + +|模型名称(`config.embed_model`)|默认路径/模型|需要配置项目（`config.model_local_paths`）| +|:-|:-|:-| +|`bge-large-zh-v1.5`|`BAAI/bge-large-zh-v1.5`|`bge-large-zh-v1.5`（*可选：修改为本地路径）| +|`zhipu`|`embedding-2`, `embedding-3`|`ZHIPUAI_API_KEY` (`.env`)| + + +### 3. 重排序模型支持 + +目前仅支持 `BAAI/bge-reranker-v2-m3`。 + +### 4. 本地模型支持 + +对于**语言模型**，并不支持直接运行本地语言模型，请使用 vllm 或者 ollama 转成 API 服务之后使用。 + +对于**向量模型**和**重排序模型**，可以不做修改会自动下载模型，如果下载过程中出现问题，请参考 [HF-Mirror](https://hf-mirror.com/) 配置相关内容。如果想要使用本地已经下载好的模型（不建议），可以在 `saves/config/config.yaml` 配置相关内容。同时注意要在 docker 中做映射，参考 README 中的 `docker/docker-compose.yml`。 + +例如： + +```yaml +model_local_paths: + bge-large-zh-v1.5: /models/bge-large-zh-v1.5 +``` + +## 知识库支持 + +本项目支持多种格式的知识库，目前支持的格式有：pdf、txt、md。文件上传后，会首先转换为纯文本，然后使用向量模型将文本转换为向量，然后存储到向量数据库中。这个过程可能会花费不少时间。 + + +## 知识图谱支持 + +> [!NOTE] +> 现阶段项目所使用的 OneKE 自动创建知识图谱的效果并不是很好，暂时移除了，建议在项目外创建知识图谱** + +本项目支持 Neo4j 作为知识图谱的存储。需要将图谱整理成 jsonl 的格式，每一行都是 {"h": "北京", "t": "中国", "r": "首都"} 这样的格式，然后在网页的图谱管理里面添加这个文件。 + +项目启动后会自动启动 neo4j 服务，可以直接使用 [http://localhost:7474/](http://localhost:7474/) 去访问和管理图数据库，初始默认的账户密码是 `neo4j` 和 `0123456789`。可以在 `docker/docker-compose.yml` 和 `docker\docker-compose.dev.yml` 中修改（注：`api.environment` 和 `graph.environment` 都需要修改）。 + +目前项目中暂不支持同时查询多个知识图谱，短期内也没有计划支持。不过倒是可以通过配置不同的 `NEO4J_URI` 服务来切换知识图谱。如果已经有了基于 neo4j 的知识图谱，可以将 `docker-compose.yml` 中的 `graph` 配置项删除，并将 `api.environment` 中的 `NEO4J_URI` 配置项修改为 neo4j 的服务地址。 + + + ## 更新日志 - 2024.10.12 后端修改为 [FastAPI](https://github.com/fastapi)，并添加了 [Milvus-Standalone](https://github.com/milvus-io) 的独立部署。 diff --git a/docker/web.Dockerfile b/docker/web.Dockerfile index 17d551c4..8c3a8ee5 100644 --- a/docker/web.Dockerfile +++ b/docker/web.Dockerfile @@ -1,5 +1,5 @@ # 开发阶段 -FROM node:latest AS development +FROM node:22.10.0 AS development WORKDIR /app # 复制 package.json 和 package-lock.json（如果存在） @@ -17,7 +17,7 @@ EXPOSE 5173 # 启动开发服务器的命令在 docker-compose 文件中定义 # 生产阶段 -FROM node:latest AS build-stage +FROM node:22.10.0 AS build-stage WORKDIR /app COPY ./web/package*.json ./ diff --git a/src/config/__init__.py b/src/config/__init__.py index a5d59800..5be0e905 100644 --- a/src/config/__init__.py +++ b/src/config/__init__.py @@ -1,10 +1,18 @@ import os import json import yaml +from pathlib import Path from src.utils.logging_config import setup_logger logger = setup_logger("Config") +with open(Path("src/config/models.yaml"), "r") as f: + _models = yaml.safe_load(f) + +MODEL_NAMES = _models["MODEL_NAMES"] +EMBED_MODEL_INFO = _models["EMBED_MODEL_INFO"] +RERANKER_LIST = _models["RERANKER_LIST"] + class SimpleConfig(dict): @@ -95,10 +103,17 @@ class Config(SimpleConfig): logger.warning(f"Model name {self.model_name} not in custom models, using default model name") self.model_name = self.custom_models[0]["custom_id"] + conds = {} self.model_provider_status = {} for provider in self.model_names: - conds = [bool(os.getenv(_k)) for _k in self.model_names[provider]["env"]] - self.model_provider_status[provider] = all(conds) + conds[provider] = self.model_names[provider]["env"] + conds_bool = [bool(os.getenv(_k)) for _k in conds[provider]] + self.model_provider_status[provider] = all(conds_bool) + + self.valuable_model_provider = [k for k, v in self.model_provider_status.items() if v] + assert len(self.valuable_model_provider) > 0, f"No model provider available, please check your `.env` file. API_KEY_LIST: {conds}" + + def load(self): """根据传入的文件覆盖掉默认配置""" @@ -147,120 +162,3 @@ class Config(SimpleConfig): json.dump(self, f, indent=4) logger.info(f"Config file {self.filename} saved") - -MODEL_NAMES = { - "openai": { - "name": "OpenAI", - "url": "https://platform.openai.com/docs/models", - "default": "gpt-3.5-turbo", - "env": ["OPENAI_API_KEY"], - "models": [ - "gpt-4", - "gpt-4o", - "gpt-4o-mini", - "gpt-3.5-turbo" - ] - }, - - # https://platform.deepseek.com/api-docs/zh-cn/pricing - "deepseek": { - "name": "DeepSeek", - "url": "https://platform.deepseek.com/api-docs/zh-cn/pricing", - "default": "deepseek-chat", - "env": ["DEEPSEEK_API_KEY"], - "models": [ - "deepseek-chat", - ] - }, - - # https://open.bigmodel.cn/dev/api glm-4-plus、glm-4-0520、glm-4 、glm-4-air、glm-4-airx、glm-4-long 、 glm-4-flashx 、 glm-4-flash - "zhipu": { - "name": "智谱AI (Zhipu)", - "url": "https://open.bigmodel.cn/dev/api", - "default": "glm-4-flash", - "env": ["ZHIPUAI_API_KEY"], - "models": [ - "glm-4", - "glm-4-plus", - "glm-4-air", - "glm-4-airx", - "glm-4-long", - "glm-4-flashx", - "glm-4-flash", - ] - }, - - # {'ERNIE-4.0-8K-0104', 'ERNIE-Lite-8K-0308', 'ERNIE-Speed-128K', 'ERNIE-3.5-128K（预览版）', 'Yi-34B-Chat', 'ERNIE-4.0-8K-Preview-0518', 'ERNIE-Bot-4', 'ERNIE-3.5-128K', 'ChatGLM2-6B-32K', 'ERNIE-3.5-8K', 'EB-turbo-AppBuilder', 'ERNIE-Lite-AppBuilder-8K', 'ERNIE-4.0-8K-0329', 'AquilaChat-7B', 'Gemma-7B-it', 'Qianfan-Chinese-Llama-2-70B', 'Mixtral-8x7B-Instruct', 'Gemma-7B-It', 'ERNIE Speed-AppBuilder', 'ERNIE-Function-8K', 'ERNIE-4.0-8K-preview', 'ERNIE-Bot', 'Qianfan-BLOOMZ-7B-compressed', 'ERNIE-4.0-8K', 'BLOOMZ-7B', 'ERNIE-Character-8K', 'ERNIE-3.5-8K-0205', 'ERNIE-4.0-8K-0613', 'Llama-2-70B-Chat', 'ERNIE-Character-Fiction-8K', 'ERNIE-4.0-8K-Preview', 'ERNIE-3.5-8K-Preview', 'ERNIE-Speed', 'ERNIE-Tiny-8K', 'ERNIE-4.0-Turbo-8K-Preview', 'Meta-Llama-3-8B', 'ERNIE-4.0-8K-Latest', 'ERNIE 3.5', 'XuanYuan-70B-Chat-4bit', 'Llama-2-13B-Chat', 'ERNIE-Bot-turbo', 'ERNIE-3.5-8K-0613', 'ERNIE-Lite-AppBuilder-8K-0614', 'ERNIE-4.0-preview', 'Llama-2-7B-Chat', 'Qianfan-Chinese-Llama-2-13B', 'ERNIE-Bot-turbo-AI', 'Meta-Llama-3-70B', 'ERNIE-Functions-8K', 'ERNIE-Lite-8K-0922（原ERNIE-Bot-turbo-0922）', 'ERNIE Speed', 'ERNIE-3.5-preview', 'Qianfan-Chinese-Llama-2-7B', 'ERNIE-Speed-8K', 'ERNIE-Lite-8K-0922', 'ChatLaw', 'ERNIE-3.5-8K-0329', 'ERNIE-4.0-Turbo-8K', 'ERNIE-3.5-8K-preview', 'ERNIE-Lite-8K'} - "qianfan": { - "name": "百度千帆 (QianFan)", - "url": "https://open.bigmodel.cn/dev/api", - "default": "ERNIE-Speed", - "env": ["QIANFAN_ACCESS_KEY", "QIANFAN_SECRET_KEY"], - "models": [ - "ERNIE-Speed", - "ERNIE-Speed-8K", - "ERNIE-Speed-128K", - "ERNIE-Tiny-8K", - "ERNIE-Lite-8K", - "ERNIE-4.0-8K-Latest", - ] - }, - - # https://bailian.console.aliyun.com/?switchAgent=10226727&productCode=p_efm#/model-market - "dashscope": { - "name": "阿里百炼 (DashScope)", - "url": "https://bailian.console.aliyun.com/?switchAgent=10226727&productCode=p_efm#/model-market", - "default": "qwen2.5-72b-instruct", - "env": ["DASHSCOPE_API_KEY"], - "models": [ - "qwen-max-latest", - "qwen-plus-latest", - "qwen-long-latest", - "qwen-turbo-latest", - "qwen2.5-72b-instruct", - "qwen2.5-32b-instruct", - "qwen2.5-14b-instruct", - "qwen2.5-7b-instruct", - "qwen2.5-3b-instruct", - "qwen2.5-1.5b-instruct", - "qwen2.5-0.5b-instruct", - ] - }, - - # https://cloud.siliconflow.cn/models - "siliconflow": { - "name": "SiliconFlow", - "url": "https://cloud.siliconflow.cn/models", - "default": "meta-llama/Meta-Llama-3.1-8B-Instruct", - "env": ["SILICONFLOW_API_KEY"], - "models": [ - "meta-llama/Meta-Llama-3.1-8B-Instruct", - "meta-llama/Meta-Llama-3.1-70B-Instruct", - "meta-llama/Meta-Llama-3.1-405B-Instruct", - ] - }, -} - - -EMBED_MODEL_INFO = { - "bge-large-zh-v1.5": SimpleConfig({ - "name": "bge-large-zh-v1.5", - "default_path": "BAAI/bge-large-zh-v1.5", - "dimension": 1024, - "query_instruction": "为这个句子生成表示以用于检索相关文章：", - }), - "zhipu-embedding-2": SimpleConfig({ - "name": "zhipu-embedding-2", - "default_path": "embedding-2", - "dimension": 1024, - }), - "zhipu-embedding-3": SimpleConfig({ - "name": "zhipu-embedding-3", - "default_path": "embedding-3", - "dimension": 2048, - }), -} - -RERANKER_LIST = { - "bge-reranker-v2-m3": "BAAI/bge-reranker-v2-m3", -} \ No newline at end of file diff --git a/src/core/database.py b/src/core/database.py index c1715953..10c616e0 100644 --- a/src/core/database.py +++ b/src/core/database.py @@ -51,6 +51,7 @@ class DataBaseManager: def _save_databases(self): """将数据库的信息保存到本地的文件里面""" self._update_database() + os.makedirs(os.path.dirname(self.database_path), exist_ok=True) with open(self.database_path, "w+") as f: json.dump({ "databases": [db.to_dict() for db in self.data["databases"]], diff --git a/src/models/README.md b/src/models/README.md deleted file mode 100644 index b9113589..00000000 --- a/src/models/README.md +++ /dev/null @@ -1,47 +0,0 @@ -## 模型说明 - -### 1. 对话模型支持 - -模型仅支持通过API调用的模型，如果是需要运行本地模型，则建议使用 vllm 转成 API 服务之后使用。使用前请配置 APIKEY 后使用，配置项目参考：[.env.template](../.env.template) - -|模型供应商(`config.model_provider`)|默认模型(`config.model_name`)|配置项目(`.env`)| -|:-|:-|:-| -|`openai` | `gpt-4o` | `OPENAI_API_KEY` | -|`qianfan`（百度）|`ernie_speed`|`QIANFAN_ACCESS_KEY`, `QIANFAN_SECRET_KEY`| -|`zhipu`(default)|`glm-4`|`ZHIPUAI_API_KEY`| -|`dashscope`（阿里） | `qwen-max-latest` | `DASHSCOPE_API_KEY`| -|`deepseek`|`deepseek-chat`|`DEEPSEEK_API_KEY`| -|`siliconflow` | `meta-llama/Meta-Llama-3.1-8B-Instruct` | `SILICONFLOW_API_KEY`| - -同样支持以 OpenAI 的兼容模型运行模型，可以直接在设置里面添加。比如使用 vllm 和 Ollama 运行本地模型时。 - -### 2. 向量模型支持 - -建议直接使用智谱 AI 的 embedding-3，这样不需要做任何修改，且资费不贵。 - -> [!Warning] -> 需要注意，由于知识库和图数据库的构建都依赖于向量模型，如果中途更改向量模型，回导致知识库不可用。此外，知识图谱的向量索引的建立默认使用 embedding-3 构建，因此检索的时候必须使用 embedding-3（现阶段还不支持修改） - - -|模型名称(`config.embed_model`)|默认路径/模型|需要配置项目（`config.model_local_paths`）| -|:-|:-|:-| -|`bge-large-zh-v1.5`|`BAAI/bge-large-zh-v1.5`|`bge-large-zh-v1.5`（*可选：修改为本地路径）| -|`zhipu`|`embedding-2`, `embedding-3`|`ZHIPUAI_API_KEY` (`.env`)| - - -### 3. 重排序模型支持 - -目前仅支持 `BAAI/bge-reranker-v2-m3`。 - -### 4. 本地模型支持 - -对于**语言模型**，并不支持直接运行本地语言模型，请使用 vllm 或者 ollama 转成 API 服务之后使用。 - -对于**向量模型**和**重排序模型**，可以不做修改会自动下载模型，如果下载过程中出现问题，请参考 [HF-Mirror](https://hf-mirror.com/) 配置相关内容。如果想要使用本地已经下载好的模型（不建议），可以在 `saves/config/config.yaml` 配置相关内容。同时注意要在 docker 中做映射，参考 README 中的 `docker/docker-compose.yml`。 - -例如： - -```yaml -model_local_paths: - bge-large-zh-v1.5: /models/bge-large-zh-v1.5 -``` diff --git a/web/public/avatar.jpg b/web/public/avatar.jpg new file mode 100644 index 00000000..43e40a91 Binary files /dev/null and b/web/public/avatar.jpg differ diff --git a/web/public/icon-narrow.png b/web/public/icon-narrow.png deleted file mode 100644 index 5fa011b2..00000000 Binary files a/web/public/icon-narrow.png and /dev/null differ diff --git a/web/public/icon.png b/web/public/icon.png deleted file mode 100644 index 8b200a98..00000000 Binary files a/web/public/icon.png and /dev/null differ diff --git a/web/public/jnu.png b/web/public/jnu.png deleted file mode 100644 index 3994f25b..00000000 Binary files a/web/public/jnu.png and /dev/null differ diff --git a/web/src/layouts/AppLayout.vue b/web/src/layouts/AppLayout.vue index 95267855..55733c5e 100644 --- a/web/src/layouts/AppLayout.vue +++ b/web/src/layouts/AppLayout.vue @@ -78,9 +78,9 @@ console.log(route)
-