kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
2,113 Commits 12 Branches 0 Tags 71 MiB
00a4a0cdab
Commit Graph

69 Commits

Author SHA1 Message Date
Wenjie Zhang
f657edddf2 fix: 保护知识库分块 token 上限 2026-06-06 17:45:32 +08:00
Wenjie Zhang
ee28507bb4 feat(agent): 新增通用子智能体并统一共享配置 2026-06-05 21:02:13 +08:00
Wenjie Zhang
f2eb98c025 feat: 更新后端评分计算 2026-06-04 21:08:13 +08:00
Wenjie Zhang
70b76f1e6d feat: 支持评估运行命名 2026-06-04 13:39:09 +08:00
Wenjie Zhang
b6240a1b4f style: code format 2026-05-31 13:40:15 +08:00
Wenjie Zhang
932f990841 feat: 优化当前的文件系统的解析 2026-05-30 14:59:03 +08:00
Wenjie Zhang
5322b21c32 refactor: 简化代码逻辑 2026-05-29 22:19:58 +08:00
Wenjie Zhang
afdb5fbb02 refactor(knowledge): 降低知识库路由复杂度 
拆分示例问题生成逻辑并收敛 URL 入库与上传限制，修复 uid、MIME 与结果统计等路由问题。
 2026-05-28 15:10:24 +08:00
Wenjie Zhang
2b8cc37592 feat(attachments): 新增附件的可解析的支持 2026-05-27 18:22:29 +08:00
Wenjie Zhang
7b1b326523 refactor: 整合知识导图接口 
将思维导图生成、查询和文件列表接口收敛到知识库 API，并移除独立 mindmap router 与前端模块。
 2026-05-26 19:38:44 +08:00
Wenjie Zhang
5b1fd51b27 refactor: 移除 spaCy 图谱抽取器，前端抽取方案收敛为仅 LLM 
- 删除 backend/package/yuxi/knowledge/graphs/extractors/spacy.py
- 清理 __init__.py 和 factory.py 中的 spacy 引用
- KnowledgeGraphSection.vue 抽取器类型仅保留 LLM + "更多拓展中"占位
- 补充测试：factory 仅支持 llm、reject spacy、service configure 拒绝 spacy
- 更新 docs/intro/knowledge-base.md 文档描述
 2026-05-26 17:40:17 +08:00
Wenjie Zhang
99c590d003 refactor: 知识库系统重构 - 统一命名、优化图检索与向量存储逻辑 
- base/manager: db_id → kb_id 命名统一，重构元数据加载与文件记录逻辑
- implementations: dify/milvus/notion/read_only 适配新命名与接口
- graphs: milvus_graph_service/vector_store/graph_utils 优化图构建与检索逻辑
- eval: benchmark_generation/evaluator/service 适配新命名并优化评估流程
- utils/kb_utils: 对应更新工具函数
 2026-05-26 17:40:17 +08:00
Wenjie Zhang
82fd5846ea refactor: 命名统一 - db_id/dbId → kb_id/kbId 贯穿后端路由、模型、Schema 及前端 API 
- 数据库列: db_id → kb_id (knowledge_bases, knowledge_files, knowledge_chunks, graph 相关表)
- 路由参数: path/query 中的 db_id → kb_id
- Schema 字段: resource_id → kb_id
- 前端 API 参数: dbId → kbId
 2026-05-26 17:40:17 +08:00
Wenjie Zhang
1026b1d871 refactor: 评估系统重构 - 支持图检索; 重构 Benchmark 生成与 QuerySection 组件 
- 后端: milvus_graph_service 增加图检索能力; benchmark_generation 重构为基于 service 的模式
- 后端: evaluation_service.py 迁移至 knowledge/eval/service.py
- 后端: 简化 milvus.py 实现, 抽离图逻辑到 graph service
- 前端: QuerySection.vue 大幅重构, 支持图检索模式与多视图切换
- 前端: BenchmarkGenerateModal 增加图检索配置选项
- 测试: 新增 service_generation 测试, 更新 benchmark_generation 测试
 2026-05-26 17:40:17 +08:00
Wenjie Zhang
2938b4e794 feat: 优化技能和资源配置逻辑，支持默认选择当前用户可用的全部资源 2026-05-26 17:40:17 +08:00
Wenjie Zhang
1efbf86bf0 refactor: 评估系统重构 - 后端统一 dataset/run 语义 
- 评估数据集/题目/运行/逐题结果全量入库，JSONL 仅作为交换格式
- benchmark -> dataset, task -> run 术语统一
- 评估生成支持配置并发数
- 移除 base.py 中旧的 benchmarks_meta 元数据逻辑
- manager.py 统一表创建方法名
 2026-05-26 17:40:17 +08:00
Wenjie Zhang
37179e233f fix: 修复 Notion 页面数据源验证逻辑；增加未知父级的异常处理 2026-05-26 17:40:17 +08:00
Wenjie Zhang
5add3a070d feat: 知识图谱状态增加实体/关系数量统计 
- KnowledgeGraphRepository 新增 count_by_db_id 方法
- MilvusGraphService.get_status 返回 entity_count 和 relationship_count
- 知识图谱管理面板展示实体与关系计数
- 修复重置按钮在构建中不可见的问题
- 调整默认并发数为 50

Co-authored-by: xerrors <xerrors@qq.com>
 2026-05-26 17:39:13 +08:00
Wenjie Zhang
c342f3e1ee feat: 收紧用户管理部门隔离并重构知识库共享权限 
- 普通管理员创建用户时固定归属本部门，用户列表/访问选项/详情/更新/删除均限制在本部门
- share_config 改为三档：global（全局共享）、department（部门共享）、user（指定人可访问）
- 部门共享必须包含当前用户部门，指定人可访问必须包含当前用户
- 前端 ShareConfigForm 重构为三档卡片选择+下拉菜单选人/选部门
- 补充部门隔离和共享权限过滤的集成测试
 2026-05-26 17:39:13 +08:00
Wenjie Zhang
5693fdd4a7 feat: 重构知识库注册机制，简化知识库类型注册并添加描述信息 2026-05-26 17:39:13 +08:00
Wenjie Zhang
1a3ec71b2b feat: 新增Notion连接器 2026-05-26 17:39:13 +08:00
Wenjie Zhang
0faecbb886 feat(kb): 统一知识库并支持 search/find/open 2026-05-26 17:39:13 +08:00
Wenjie Zhang
4181604a71 refactor(kb): 知识库模块重构，添加只读连接器支持 
- 新增 ReadOnlyConnectors 基类，支持只读外部检索
- 添加知识库类型特定参数配置方法
- 重构 dify 知识库实现
- 优化 additional_params 处理逻辑
 2026-05-26 17:39:13 +08:00
Wenjie Zhang
f1e6bcf6eb refactor: 统一使用 uid 而不是 user_id 2026-05-26 17:39:13 +08:00
Wenjie Zhang
78acc19a88 feat(kb): 新增从工作区导入文件功能，优化图谱配置面板与并发上限 
- 后端新增 /files/import-workspace 接口，将工作区文件上传至 MinIO 并返回预处理结果
- 后端新增 resolve_workspace_file_path 工具函数，校验文件存在性与类型
- 前端 FileUploadModal 新增工作区文件选择模式，支持目录浏览与多选文件
- 前端 knowledge_api 新增 importWorkspaceFiles API
- 图谱抽取器并发上限从 20 提升至 1000
- 图谱配置面板浮动层级与样式微调（阴影、边框、告警文案精简）
- 知识库类型 milvus 标签颜色从 red 改为 blue
- 新增工作区导入后端单元测试
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
f2d68ebdaa fix(kb): 修复 metadata 覆写数据库图谱配置，改用文件级持久化 
- update_kb_config 不再触发全量 _save_metadata，避免内存 metadata 覆盖数据库已有图谱配置
- 补全文件大小时改用 _persist_file 逐文件写入
- delete_file_chunks_only 通过 chunk_repo 检查文件是否有图谱数据再决定是否清理
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
d292e53c23 feat(kb): LLM 图谱抽取器重构为固定 Prompt + Schema，支持并发构建与模型参数 
- LLM 抽取器收敛为固定 Prompt + 可选 Schema 约束，禁止自定义完整 Prompt
- 图谱构建改用 asyncio worker 队列并发，并发数由 extractor_options.concurrency_count 控制
- 已锁定的图谱配置允许修改同类参数，类型保持锁定
- OpenAIBase 透传 model_params 到流式和非流式调用
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
409df5b073 feat(kb): 新增检索配置、图种子查询、实体/三元组搜索与融合检索 
- 新增 MilvusRetrievalConfig 数据类，支持向量/关键词/混合/图检索参数化配置
- 新增 query_seed_subgraph 和图检索融合逻辑
- MilvusGraphVectorStore 新增 search_entities/search_triples
- MilvusGraphService.get_status 支持构建任务状态与进度查询
- cypher 语句增加 entity_id/triple_id 属性
- 前端 KnowledgeGraphSection 和 SearchConfigModal 适配新配置
- 新增 igraph 依赖
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
6225310600 feat(kb): 新增知识图谱向量存储、文件大小补全及前端重构 
- 新增 MilvusGraphVectorStore 和 KnowledgeGraphRepository
- 新增文件大小从 MinIO 补全的逻辑（上传时 + 启动时）
- 重构 FileTable、GraphDetailPanel、KnowledgeGraphSection 等前端组件
- 新增文件大小回退测试和 kb_utils 测试
- 优化 file_utils 工具函数
- 更新 roadmap 文档
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
a0f9b0b6fd feat(kb)：新增知识库文件管理功能 
- 更新了 KnowledgeBaseManager 以支持新的文件管理方法。
- 在 workspace_router 中为知识库文件操作新增了端点，包括文件树列表、文件预览和文件下载。
- 在 workspace_api.js 中添加了相应的 API 调用，用于知识库交互。
- 增强了 AgentFilePreview 组件，支持预览变体之间的切换。
- 更新了导航逻辑，重定向至知识管理标签页，而非数据库视图。
- 修改了 WorkspaceView 以处理知识库条目和预览，包括加载和展示知识文件。
- 通过在文件操作期间提供加载与错误状态的反馈，改善了用户体验。
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
e3c5f41c7c refactor: 知识库重新设计 
- 默认的知识库类型新增图谱抽取能力
- 移除 LightRAG 以及原有的知识图谱支持
- 移除所有兼容性的代码
 2026-05-26 17:39:12 +08:00
Wenjie Zhang
25b80c7d3a refactor: 重构 Chunk 逻辑，异步部分参数 2026-05-26 17:39:12 +08:00
supreme0597
d0c60d9d82 feat(mention): 优化@提及搜索排序与高亮展示，修复唤醒交互及路径硬编码问题 2026-05-25 21:11:20 +08:00
Wenjie Zhang
3771b7e804 feat(kb): 添加打开知识库文档功能及相关输入模型，优化文件内容读取 2026-05-25 21:09:14 +08:00
supreme0597
4d048e7be8 fix(knowledge): 在 LITE_MODE 下安全跳过不支持的知识库类型，防止 API 崩溃 
- 检查并跳过未注册/不支持的 kb_type，避免抛出 KBNotFoundError 导致接口 500
- 分别在初始化 (_initialize_existing_kbs) 和概览列表查询 (get_databases) 中增加 checks
 2026-05-24 13:48:51 +08:00
Wenjie Zhang
f29ad639e8 fix: 修复分块硬切句末标点归属 2026-05-17 01:18:03 +08:00
Wenjie Zhang
81b5d1eb96 feat: 使用 json_repair 替代 json 处理 LLM 评判结果，增强错误处理能力 2026-05-07 09:49:01 +08:00
Wenjie Zhang
7b664e35d0 feat: 添加默认查询参数提取功能，优化知识库检索配置加载 2026-05-06 23:09:45 +08:00
Wenjie Zhang
ab513e2619 feat: 优化评估基准生成，支持仅使用 commonrag/Milvus 知识库，调整参数配置 2026-05-06 22:12:09 +08:00
Wenjie Zhang
179b048f07 refactor(eval): 重构评估指标和基准生成 
- 引入了一个新的指标计算模块，用于检索和答案评估。
-通过整合基准生成和评估指标来简化评估服务。
-为新指标和基准生成功能添加了单元测试。
- 更新了前端组件，以利用新的图标，并改进了评估基准的样式。
-将与评估相关的逻辑整合为专门的“知识/评估”结构，以更好地组织。
 2026-05-06 18:04:31 +08:00
Wenjie Zhang
0890e504d8 feat: 添加文件状态标记功能，处理缺失 markdown_file 的情况 2026-05-06 16:59:26 +08:00
Wenjie Zhang
6c35fd732a feat: 优化文明命名，更加清晰 2026-05-04 11:36:08 +08:00
郭诣
75b5f36f09 fix(knowledge): 修复 general parser 分块超限导致 LightRAG 索引失败 
naive_merge 不保证输出 chunk 在 token 上限内，当单行内容超过
chunk_token_num 时会产生超大 chunk，导致 LightRAG 报错
"Chunk token length 3140 exceeds chunk_token_size 1200"。

- nlp.py: 新增 hard_split_by_token_limit 公共硬切分函数
- general.py: 新增 _ensure_chunk_token_limit 兜底保护
- laws.py: 删除本地重复函数，改用 nlp 版本（DRY）
 2026-05-01 22:31:58 +08:00
Wenjie Zhang
bba9bc974f feat: 添加 separator 解析器及相关配置，支持严格分隔功能 Question: 知识库对excel切分无法按行切分 
Fixes #664
 2026-04-28 20:30:02 +08:00
Wenjie Zhang
ee624513f1 style(format): 格式化代码 2026-04-27 02:24:52 +08:00
Wenjie Zhang
2920cbeec3 Merge branch 'main' into feat/model-config 2026-04-26 18:54:48 +08:00
Wenjie Zhang
9e1cf9e029 fix(knowledge): 修复 index_file 未传递用户自定义入参 params 导致入库参数不生效的 bug 2026-04-26 18:54:45 +08:00
Wenjie Zhang
e3d312059a feat(model): 重构嵌入模型选择器，新增 Rerank 模型选择器，优化模型提供者管理 2026-04-26 18:51:38 +08:00
GitHub Actions
a3dd2c96fe style: auto-format with ruff [skip ci] 2026-04-24 11:42:53 +00:00
zhou shujian
2b48190b25 chore: 标准化NLTK数据卷并清理测试文件 
- 将docker-compose.yml中的NLTK数据挂载从主机路径改为命名卷，确保跨平台一致性
- 移除测试中生成临时文件的副作用，改为控制台输出切分结果
- 修复语义切分工具中NLTK资源检查逻辑，避免重复下载并提供明确错误提示
- 优化语义切分函数签名，支持embed_fn为None时的退化处理
 2026-04-24 16:18:01 +08:00