Commit Graph

31 Commits

Author SHA1 Message Date
Wenjie Zhang
9ac635f7f7 fix: 分批写入 Milvus chunks 避免 gRPC 超限 2026-06-11 20:55:44 +08:00
Wenjie Zhang
b6240a1b4f style: code format 2026-05-31 13:40:15 +08:00
Wenjie Zhang
5322b21c32 refactor: 简化代码逻辑 2026-05-29 22:19:58 +08:00
Wenjie Zhang
99c590d003 refactor: 知识库系统重构 - 统一命名、优化图检索与向量存储逻辑
- base/manager: db_id → kb_id 命名统一,重构元数据加载与文件记录逻辑
- implementations: dify/milvus/notion/read_only 适配新命名与接口
- graphs: milvus_graph_service/vector_store/graph_utils 优化图构建与检索逻辑
- eval: benchmark_generation/evaluator/service 适配新命名并优化评估流程
- utils/kb_utils: 对应更新工具函数
2026-05-26 17:40:17 +08:00
Wenjie Zhang
1026b1d871 refactor: 评估系统重构 - 支持图检索; 重构 Benchmark 生成与 QuerySection 组件
- 后端: milvus_graph_service 增加图检索能力; benchmark_generation 重构为基于 service 的模式
- 后端: evaluation_service.py 迁移至 knowledge/eval/service.py
- 后端: 简化 milvus.py 实现, 抽离图逻辑到 graph service
- 前端: QuerySection.vue 大幅重构, 支持图检索模式与多视图切换
- 前端: BenchmarkGenerateModal 增加图检索配置选项
- 测试: 新增 service_generation 测试, 更新 benchmark_generation 测试
2026-05-26 17:40:17 +08:00
Wenjie Zhang
37179e233f fix: 修复 Notion 页面数据源验证逻辑;增加未知父级的异常处理 2026-05-26 17:40:17 +08:00
Wenjie Zhang
5693fdd4a7 feat: 重构知识库注册机制,简化知识库类型注册并添加描述信息 2026-05-26 17:39:13 +08:00
Wenjie Zhang
1a3ec71b2b feat: 新增Notion连接器 2026-05-26 17:39:13 +08:00
Wenjie Zhang
0faecbb886 feat(kb): 统一知识库并支持 search/find/open 2026-05-26 17:39:13 +08:00
Wenjie Zhang
4181604a71 refactor(kb): 知识库模块重构,添加只读连接器支持
- 新增 ReadOnlyConnectors 基类,支持只读外部检索
- 添加知识库类型特定参数配置方法
- 重构 dify 知识库实现
- 优化 additional_params 处理逻辑
2026-05-26 17:39:13 +08:00
Wenjie Zhang
f1e6bcf6eb refactor: 统一使用 uid 而不是 user_id 2026-05-26 17:39:13 +08:00
Wenjie Zhang
f2d68ebdaa fix(kb): 修复 metadata 覆写数据库图谱配置,改用文件级持久化
- update_kb_config 不再触发全量 _save_metadata,避免内存 metadata 覆盖数据库已有图谱配置
- 补全文件大小时改用 _persist_file 逐文件写入
- delete_file_chunks_only 通过 chunk_repo 检查文件是否有图谱数据再决定是否清理
2026-05-26 17:39:12 +08:00
Wenjie Zhang
409df5b073 feat(kb): 新增检索配置、图种子查询、实体/三元组搜索与融合检索
- 新增 MilvusRetrievalConfig 数据类,支持向量/关键词/混合/图检索参数化配置
- 新增 query_seed_subgraph 和图检索融合逻辑
- MilvusGraphVectorStore 新增 search_entities/search_triples
- MilvusGraphService.get_status 支持构建任务状态与进度查询
- cypher 语句增加 entity_id/triple_id 属性
- 前端 KnowledgeGraphSection 和 SearchConfigModal 适配新配置
- 新增 igraph 依赖
2026-05-26 17:39:12 +08:00
Wenjie Zhang
6225310600 feat(kb): 新增知识图谱向量存储、文件大小补全及前端重构
- 新增 MilvusGraphVectorStore 和 KnowledgeGraphRepository
- 新增文件大小从 MinIO 补全的逻辑(上传时 + 启动时)
- 重构 FileTable、GraphDetailPanel、KnowledgeGraphSection 等前端组件
- 新增文件大小回退测试和 kb_utils 测试
- 优化 file_utils 工具函数
- 更新 roadmap 文档
2026-05-26 17:39:12 +08:00
Wenjie Zhang
a0f9b0b6fd feat(kb):新增知识库文件管理功能
- 更新了 KnowledgeBaseManager 以支持新的文件管理方法。
- 在 workspace_router 中为知识库文件操作新增了端点,包括文件树列表、文件预览和文件下载。
- 在 workspace_api.js 中添加了相应的 API 调用,用于知识库交互。
- 增强了 AgentFilePreview 组件,支持预览变体之间的切换。
- 更新了导航逻辑,重定向至知识管理标签页,而非数据库视图。
- 修改了 WorkspaceView 以处理知识库条目和预览,包括加载和展示知识文件。
- 通过在文件操作期间提供加载与错误状态的反馈,改善了用户体验。
2026-05-26 17:39:12 +08:00
Wenjie Zhang
e3c5f41c7c refactor: 知识库重新设计
- 默认的知识库类型新增图谱抽取能力
- 移除 LightRAG 以及原有的知识图谱支持
- 移除所有兼容性的代码
2026-05-26 17:39:12 +08:00
Wenjie Zhang
25b80c7d3a refactor: 重构 Chunk 逻辑,异步部分参数 2026-05-26 17:39:12 +08:00
Wenjie Zhang
3771b7e804 feat(kb): 添加打开知识库文档功能及相关输入模型,优化文件内容读取 2026-05-25 21:09:14 +08:00
Wenjie Zhang
ab513e2619 feat: 优化评估基准生成,支持仅使用 commonrag/Milvus 知识库,调整参数配置 2026-05-06 22:12:09 +08:00
Wenjie Zhang
0890e504d8 feat: 添加文件状态标记功能,处理缺失 markdown_file 的情况 2026-05-06 16:59:26 +08:00
Wenjie Zhang
ee624513f1 style(format): 格式化代码 2026-04-27 02:24:52 +08:00
Wenjie Zhang
2920cbeec3 Merge branch 'main' into feat/model-config 2026-04-26 18:54:48 +08:00
Wenjie Zhang
9e1cf9e029 fix(knowledge): 修复 index_file 未传递用户自定义入参 params 导致入库参数不生效的 bug 2026-04-26 18:54:45 +08:00
Wenjie Zhang
e3d312059a feat(model): 重构嵌入模型选择器,新增 Rerank 模型选择器,优化模型提供者管理 2026-04-26 18:51:38 +08:00
Wenjie Zhang
8a3094cb1e feat(milvus): 增加 BM25 支持,优化混合检索功能及相关参数配置 2026-04-07 20:39:10 +08:00
Wenjie Zhang
66340c7227 fix(lightrag): 修改返回值以允许 LightRAG 进行二次切分,避免超限 Fix #554 2026-04-06 11:48:50 +08:00
Wenjie Zhang
94e16802d1 chore: 更新版本号至 v0.6.0.beta3,修正文档及配置文件中的相关信息 2026-03-30 15:48:57 +08:00
Wenjie Zhang
d1a02579bc fix: 修复 lightrag 序列化与 knowledge router 路径问题 Fixes: #584
- 修正 lightrag.py 中的序列化逻辑
- 修复 knowledge_router.py 路由路径
- 更新 roadmap.md 文档记录
2026-03-30 15:39:49 +08:00
Wenjie Zhang
51c2159b8c fix(LightRagKB): 修复知识库配置更新后,实例没有销毁导致的模型未更新 Fixes: #580 2026-03-25 20:46:57 +08:00
Wenjie Zhang
29ebeedd4e refactor(parser): 重构解析器为统一入口
- 移除从未使用了 url 解析模块
- parser 的入口统一,职责更加独立
- 优化 MINIO 的上传逻辑
2026-03-24 11:09:45 +08:00
Wenjie Zhang
410dd47c14 refactor: 将后端代码迁移至 backend 目录
- 将 server/, src/, scripts/, test/ 等目录移动到 backend/ 目录下
- 使用 git rename 保留文件历史记录
- 更新 docker-compose.yml 和 api.Dockerfile 配置

WIP: 项目结构重构进行中
2026-03-24 11:08:12 +08:00