Commit Graph

40 Commits

Author SHA1 Message Date
Wenjie Zhang
b4439996fa refactor(knowledge): 重构文件处理逻辑并提取到独立模块
将文件处理和URL处理逻辑从KnowledgeBase类提取到独立的indexing模块
更新模型配置和README,添加新的API Key获取链接
优化日志输出格式并添加新的文件预处理脚本
2025-07-29 12:58:13 +08:00
Wenjie Zhang
7d4722b62c feat: 更新知识库相关配置
- 实现QA数据
- 优化现在创建知识库的体验
- 优化文件处理与加载方法
- 整体的格式检查与优化
- 优化 Embedding model 的加载逻辑,修复并行问题
- 优化整体的颜色布局
- 移除未使用的接口(前后端)
- 优化知识库的 chunk 逻辑
- 添加新的 Embedding模型支持
- 修复新建知识库后,Agent无法reload的问题
2025-07-26 03:36:54 +08:00
Wenjie Zhang
5ed016298c feat: 更新 Docker 配置,添加 Milvus 令牌支持,优化健康检查命令,移除 PostgreSQL 配置,调整环境变量,增强系统稳定性 2025-07-18 11:29:12 +08:00
Wenjie Zhang
6810f1f84e feat: 在依赖组中添加 ruff 依赖,并优化代码中的类型提示和异常处理,提升代码可读性和稳定性 2025-07-02 02:38:36 +08:00
Wenjie Zhang
a91d57f274 fix: 更新嵌入模型配置,修复相关信息获取逻辑
- 修改数据路由器中的嵌入模型信息获取方式,确保使用正确的配置项。
- 在 LightRagBasedKB 类中,增强 LLM 和嵌入函数的获取逻辑,支持动态配置。
- 更新嵌入模型和重排序模型的 URL 获取方式,统一为 base_url。
- 前端数据库视图中,调整嵌入模型选择的样式和信息展示,提升用户体验。
2025-06-27 12:22:35 +08:00
Wenjie Zhang
9bc5b086f9 chore: 移除 Chat 、Retriever 相关代码,知识库与知识图谱默认开启且无法修改
- 删除 retriever.py 文件,移除不再使用的检索器逻辑。
- 更新 base_router.py,简化重启逻辑,移除 retriever.restart() 调用。
- 修改 config.py,移除知识库和知识图谱的配置项。
- 更新前端组件,调整与知识库相关的显示逻辑,确保界面一致性。
- 修改路由配置,移除与聊天相关的路由,优化用户导航体验。
2025-06-27 01:52:59 +08:00
Wenjie Zhang
4afbb42f96 feat: 添加自动索引功能,优化文件处理流程
- 在知识库中新增自动索引参数,支持在文件处理后自动触发索引。
- 更新前端界面,允许用户配置自动索引选项,并在处理结果中反馈索引状态。
- 调整定时器刷新间隔,提高数据库信息更新的实时性。
2025-06-25 02:45:57 +08:00
Wenjie Zhang
a6857c3e21 style: fix ruff check 2025-05-24 11:29:45 +08:00
Wenjie Zhang
b0db3c6b0d feat: 更新 Docker 配置和添加 MinerU OCR 服务
- 修改了 docker-compose.yml,更新了 API 和 Web 服务的镜像名称,并添加了 MinerU OCR 服务。
- 在 pyproject.toml 中添加了 Ruff 代码检查工具的配置。
- 更新了 API 和 Web Dockerfile,添加了代理环境变量。
- 新增了用于拉取 Docker 镜像的脚本。
- 在文档中添加了关于如何使用 MinerU OCR 的说明。
- 优化了代码结构和日志记录,提升了可读性和维护性。
2025-05-23 15:30:14 +08:00
Wenjie Zhang
ab809f748f 优化本地 embedding 的GPU 处理问题,添加 GPU 部署映射 2025-05-10 10:53:15 +08:00
Wenjie Zhang
9c61a8a436 优化embedding阶段的并行处理 2025-04-23 21:18:39 +08:00
Wenjie Zhang
8696bf6583 add logger for loading local model 2025-04-13 23:50:19 +08:00
Wenjie Zhang
82974d9550 fix typo found by copilot 2025-04-06 20:47:45 +08:00
Wenjie Zhang
1d40da7460 添加自动获取模型列表,目前仅支持适配了 OpenAI格式的供应商,更多供应商支持中…… 2025-04-06 20:33:15 +08:00
Wenjie Zhang
d26fda4053 更新了很多
- 添加了系统提示词
- 添加了知识库的加载方式
2025-03-20 19:51:46 +08:00
Wenjie Zhang
0af178bf91 更新模型本地配置 2025-03-11 16:26:55 +08:00
Wenjie Zhang
15f52bfc8f 修复 embedding 和 reranker 无法本地调用 gpu 的问题,需要安装 nvidia-container-toolkit 2025-03-07 01:05:50 +08:00
Wenjie Zhang
fb15e258db 支持 ollma embedding 2025-03-04 13:49:00 +08:00
Wenjie Zhang
e998102eeb 修复本地embedding模型的运行bug,添加了 batch_encode 的方法 2025-03-03 21:57:27 +08:00
Wenjie Zhang
bb88a696d8 修复embedding的bug 2025-02-28 02:41:45 +08:00
Wenjie Zhang
e04add5bc2 update logger 2025-02-27 19:35:25 +08:00
Wenjie Zhang
b2dbc17fec 修改并适配硅基流动模型 2025-02-23 16:38:56 +08:00
Wenjie Zhang
d9e39a7a7d Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-02-20 01:26:12 +08:00
Wenjie Zhang
5cad89e3d4 fix embedding bug 2024-11-22 00:13:01 +08:00
Wenjie Zhang
c51c9b152d fix 2024-11-22 00:04:30 +08:00
Wenjie Zhang
6433046c0b fix model info bugs 2024-11-22 00:03:25 +08:00
Wenjie Zhang
aeabe769d6 优化部分视觉表现 2024-10-24 20:08:23 +08:00
Wenjie Zhang
ee950e40c9 update zhipuai_api_key and siliconflow 2024-09-28 00:39:31 +08:00
Wenjie Zhang
7ce9b5bd8a fix local model bugs 2024-09-11 01:07:19 +08:00
Wenjie Zhang
302e59c2c9 update 2024-09-09 17:07:03 +08:00
Wenjie Zhang
0d455bcc3d update 2024-09-06 12:54:17 +08:00
Wenjie Zhang
0b2dd0179b sync 2024-08-25 20:29:24 +08:00
Wenjie Zhang
def68e8a3e sync 2024-08-25 12:34:35 +08:00
Wenjie Zhang
cb00a8f4a9 update kb config 2024-07-31 20:22:05 +08:00
Wenjie Zhang
6971e7e1b7 修改后端入口为 src, 运行代码不需要使用 cd src, 添加前端查看检索结果 2024-07-28 16:16:52 +08:00
Wenjie Zhang
3ab20611a2 modified config embedding model and startup 2024-07-22 00:00:54 +08:00
Wenjie Zhang
429c5e3b14 update some details 2024-07-21 18:15:28 +08:00
Wenjie Zhang
86e8910eee update 2024-07-17 18:52:20 +08:00
Wenjie Zhang
39e7e76e58 oneke update [未验证] 2024-07-14 18:31:23 +08:00
Wenjie Zhang
b9d6d13d72 support for knowledge base RAG and fix UI bug 2024-07-09 05:04:20 +08:00