diff --git a/REFACTOR.md b/REFACTOR.md index 1dde01b3..609a4167 100644 --- a/REFACTOR.md +++ b/REFACTOR.md @@ -22,12 +22,14 @@ ## 权限部分 - [x] Agent 的 user_id 使用的有歧义，从数据库表到代码中都修改为统一使用 yuxi_id 来代替 - [ ] 权限新增一个 guest 的预设字段，暂无任何权限 +- [ ] rename database table name, such as skills -> agent_skills, subagents -> agent_subagents, mcp, tool_call, 等等 - [x] department 的 id 也不能使用那个索引的 id 来使用了，应该是一个独立的 dept_id，需要确认 - [ ] allow user config skill - [ ] Config spacy model 的 load +- [ ] allow multi-hop qa generate - [x] 在工作区的文件编辑的时候，保存和取消的按钮应该是悬浮在编辑框的右上角，而不是在 header 上面 - [ ] default enable all build in tools / kbs / skills / mcps / subagents - [x] 链接 Notion 和 feishu 目前来看，都是支持的 - [x] 知识库的权限调整，修改为三个等级，全局共享、部门共享（选择多个部门，默认是自己部门且必须包含自己部门）、指定人可访问（选择多个用户，默认是仅自己，可以添加其他人）。UI 上也需要调整，三个卡片不再是等宽，而是选中的会宽一点，并展示描述以及选择按钮，未选中的则是默认宽度，仅显示标题。对于选中的卡片除了展示描述、按钮之外，还包括“X 个部门可访问”、“X 个用户可访问”的信息展示。全局的就看是所有用户可访问。所以等级的字段配置也要重新设计，不需要考虑兼容，所有知识库都会重新构建。 - [x] databaseinfo 的重构，在左侧展示那个 tab 标签吧，将文件管理（filetable）以及右侧的那些图谱、检索、检索配置、评估之类的，都列为不同的 tab，进入之后默认激活的是 filetable。这样页面布局就好的多。作恶侧边栏除了这些 tab 之外，顶部是和 Skill Detail 那里的 header 一样， -- [ ] 当前的评估基准是最重要的是评估数据集和评估结果都是放在一个文件里面的，这个是绝对不可以的，应该是放在数据库里面，比如评估数据集是一个表，每一个评估的题目是一个表，评估的结果是一个表，每一个评估的 item 也是一个表，但是数据表太多要注意命名规范。现在第一步就是完成原本的评估的功能的重新梳理 +- [x] 当前的评估基准是最重要的是评估数据集和评估结果都是放在一个文件里面的，这个是绝对不可以的，应该是放在数据库里面，比如评估数据集是一个表，每一个评估的题目是一个表，评估的结果是一个表，每一个评估的 item 也是一个表，但是数据表太多要注意命名规范。现在第一步就是完成原本的评估的功能的重新梳理 diff --git a/docs/develop-guides/roadmap.md b/docs/develop-guides/roadmap.md index 5a11366c..5421855f 100644 --- a/docs/develop-guides/roadmap.md +++ b/docs/develop-guides/roadmap.md @@ -6,7 +6,6 @@ - 同一版本的多次功能更新时，应以功能为单位进行更新，比如之前添加了 A 功能的更新，在后续的更新中修复了因 A 功能引入的 bug，那么这个修复说明应该和 A 功能描述放在一起，而不是新增一条修复记录，功能更新同理。 - ### 看板 - Langfuse 增加 self-host 模式支持，补齐私有化部署与配置说明（已支持 cloud，待调试） @@ -30,8 +29,6 @@ - 优化知识库的 API 接口设计，使用 /{db_id}/xxx 的形式，整合 mindmap / eval 接口 - 移除 v1 版本的 provider 统一接口，改为 v2 版本的 provider 模块接口 - - ## 版本记录 ### 0.6.3 开发记录 diff --git a/docs/intro/evaluation.md b/docs/intro/evaluation.md index 786dcc49..de79c1a8 100644 --- a/docs/intro/evaluation.md +++ b/docs/intro/evaluation.md @@ -39,6 +39,8 @@ - `gold_chunk_ids`：期望被检索到的文档块 ID，可选 - `gold_answer`：标准答案，用于评估生成质量，可选 +JSONL 只是导入和导出的交换格式。导入后，系统会把评估数据集、题目、评估运行和逐题结果保存到数据库中，不依赖本地 JSONL 文件作为内部存储。 + ::: tip 推荐工具 可以使用 [EasyDataset](https://github.com/ConardLi/easy-dataset) 从文档批量生成问答对。注意导出时将字段名改为 `query` 和 `gold_answer`。 ::: @@ -50,6 +52,7 @@ 推荐参数： - 问题数量：10-50 个 - 相似文档数：2-5 个 +- 构建并发数：默认 10，最大 20；模型服务限流较严格时可调低 ## 运行评估 diff --git a/web/src/components/AgentConfigSidebar.vue b/web/src/components/AgentConfigSidebar.vue index 2321c9ec..a1285846 100644 --- a/web/src/components/AgentConfigSidebar.vue +++ b/web/src/components/AgentConfigSidebar.vue @@ -74,10 +74,7 @@ -
+
- -
@@ -1498,7 +1496,6 @@ import ChunkParamsConfig from '@/components/ChunkParamsConfig.vue' background-color: transparent !important; } } -