kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
1,947 Commits 12 Branches 0 Tags 71 MiB
caab251f02
Commit Graph

102 Commits

Author SHA1 Message Date
supreme0597
caab251f02 fix(skill): 异步化删除目录防阻塞并限制批量删除上限以避免超时 2026-05-25 23:35:00 +08:00
Wenjie Zhang
43a23e2e88
Merge branch 'main' into feat/skills-remote-install 2026-05-25 21:37:07 +08:00
supreme0597
6b29f659e5 feat: 修复 @ mention 搜索漏洞并重构优化 AgentPanel 自动打开策略 
1. 修复 mention_router 中的 IDOR 越权安全漏洞，加入 thread 归属权校验，定义强类型 Pydantic Schema。
2. 修复 mention_search_service 中 ensure_thread_dirs 的 GET 副作用、空 Query 扫描和 MAX_SEARCH_DEPTH 深度问题，使用标准 Base64 编解码。
3. 增加前端 mention_api.js 参数的安全兜底。
4. 重构 AgentPanel 自动展开策略，彻底解决大仓库克隆时的卡死问题：
   - 将 fetchThreadFiles 改为 recursive=false 避免递归大目录。
   - 重构为只有在发生显性的物理文件写入（用户上传附件成功、用户保存交付件到工作区成功）的回调中才精准触发侧边栏自动展开，完美契合用户心智模型与性能诉求。
5. 精简 roadmap.md 文档，更新相关单元测试。
 2026-05-25 21:11:41 +08:00
supreme0597
d0c60d9d82 feat(mention): 优化@提及搜索排序与高亮展示，修复唤醒交互及路径硬编码问题 2026-05-25 21:11:20 +08:00
Wenjie Zhang
575c34b160 feat: 将kb 从沙盒映射中移除，取而代之的是一个新的 Open 工具，可以提供自由且可控的文件访问 2026-05-25 21:10:05 +08:00
Wenjie Zhang
3771b7e804 feat(kb): 添加打开知识库文档功能及相关输入模型，优化文件内容读取 2026-05-25 21:09:14 +08:00
supreme0597
ae0ccb0597 fix(skill): 修复技能安装审核问题 
- 拆分技能安装流程，避免慢速拉取阶段占用数据库连接

- 使用 ORM 读改写并加行锁追加 agent 配置 skills，避免重复和并发丢更新

- 强化沙盒目录下载错误处理并补充相关单元测试
 2026-05-25 21:09:14 +08:00
supreme0597
f13c80be3c fix(skill): 修复安装技能时配置持久化路径错误及单元测试失败的问题 
- 修正 AgentConfigRepository 技能写入路径，确保技能保存至 config_json->context->skills
- 修复 test_install_skill 单元测试的各种 mock 与断言，解决由于接口变更和依赖不匹配导致的失败
 2026-05-25 21:09:14 +08:00
supreme0597
8411976183 fix(skill): 修复 install_skill 同步异步混用及数据库连接问题 
- 将 install_skill 改为 async def，消除 asyncio.run() 事件循环冲突
- 修复 agent_config_repository 表名及 jsonb 类型转换
- 增加数据库连接池配置，避免高并发耗尽连接
- 修复远程 skill 批量安装列表引用共享 bug
- 修复 slug 冲突 warning 误报（目录名 vs SKILL.md name）
- 新增 UserRepository 支持外部传入 db 会话
- 更新测试适配 async 签名
 2026-05-25 21:09:14 +08:00
supreme0597
a772665212 feat(skill): 新增 Agent 会话中安装 Skill 功能 
- 新增 install_skill 工具，支持从 Sandbox 路径或 Git 仓库安装 skill
- 支持管理员权限校验（admin/superadmin）
- 安装后自动持久化到 agent config，新对话自动生效
- 动态激活当前会话，无需重启
- 新增 AgentConfigRepository.add_skills_to_config_json() 原子 JSONB 操作
- 新增 21 个单元测试，覆盖权限、Schema、安装流程等场景
 2026-05-25 21:09:14 +08:00
supreme0597
df08fea2b8 feat(skills): 支持远程安装搜索、仓库历史记录与批量删除 
- 后端新增全局搜索 skills.sh API (POST /system/skills/remote/search)
- 后端新增批量删除接口 (POST /system/skills/delete-batch)，使用行锁防并发
- skill_repository.get_by_slug 支持 for_update 参数
- 前端远程安装弹框重构：Tab 双视图(按仓库拉取/全局搜索)、分页列表
- 前端仓库输入框新增历史记录功能(localStorage 持久化)，支持逐条/批量清空
- 前端批量管理模式：全选/反选/清空 + 二次确认批量删除
- 修复 dropdown overlay teleport 到 body 导致 scoped CSS 无法穿透的样式问题
- 补充批量删除及并发锁单元测试
 2026-05-25 17:54:58 +08:00
supreme0597
ef75bd262f fix(backend): 统一为本地及MCP动态工具注入handle_tool_error容错 
- 在 mcp_service 的 get_mcp_tools 加载出口全局设置 tool.handle_tool_error = True
- 在 toolkits registry 的 @tool 装饰器中对本地工具默认开启 handle_tool_error = True
- 修复因 MCP/本地工具内部执行出错抛出 ToolException 时击穿流服务导致 crash 的 bug
- 新增两个单元测试进行完备性验证
 2026-05-25 17:32:48 +08:00
supreme0597
9406463849 refactor(security): 针对普通用户采用安全白名单投影过滤技能与MCP元数据 
1. 技能列表接口：普通用户返回数据通过白名单字段投影，屏蔽 dir_path 等绝对物理路径。
2. MCP 服务器列表接口：废除原 pop() 黑名单模式，升级为显式白名单准入映射。
3. 单元测试：同步升级 test_skill_router.py 和 test_mcp_router.py，强化字段脱敏性测试断言。
 2026-05-22 14:15:31 +08:00
supreme0597
469e362506 feat: 修复 @ mention 搜索漏洞并重构优化 AgentPanel 自动打开策略 
1. 修复 mention_router 中的 IDOR 越权安全漏洞，加入 thread 归属权校验，定义强类型 Pydantic Schema。
2. 修复 mention_search_service 中 ensure_thread_dirs 的 GET 副作用、空 Query 扫描和 MAX_SEARCH_DEPTH 深度问题，使用标准 Base64 编解码。
3. 增加前端 mention_api.js 参数的安全兜底。
4. 重构 AgentPanel 自动展开策略，彻底解决大仓库克隆时的卡死问题：
   - 将 fetchThreadFiles 改为 recursive=false 避免递归大目录。
   - 重构为只有在发生显性的物理文件写入（用户上传附件成功、用户保存交付件到工作区成功）的回调中才精准触发侧边栏自动展开，完美契合用户心智模型与性能诉求。
5. 精简 roadmap.md 文档，更新相关单元测试。
 2026-05-22 12:30:22 +08:00
supreme0597
261ea88b11 fix(mention): 修复普通用户无法在聊天中唤出技能与MCP提及列表的Bug 
原因：
1. 后端接口 GET /api/system/skills 与 GET /api/system/mcp-servers 之前被权限校验拦截。
2. 前端本地在调用拉取技能和MCP服务底集的方法时，前置调用了 apiAdminGet 会在本地硬性拦截非管理员权限的用户，导致请求被掐断并静默兜底返回空数组。

修改：
1. 后端放开此二接口路由为低特权只读访问，且对 MCP 服务器的敏感连接信息（如 url、command、args、env、headers）在 user 角色拉取时执行强力脱敏过滤，并补充相关单元测试。
2. 前端将 listSkills 与 getMcpServers 从 apiAdminGet 调整为 apiGet，绕过本地硬拦截。
3. 维护 roadmap.md 进度记录。
 2026-05-22 00:23:18 +08:00
supreme0597
65135e2f93 feat(mention): 优化@提及搜索排序与高亮展示，修复唤醒交互及路径硬编码问题 2026-05-21 23:44:56 +08:00
Wenjie Zhang
8e17f44ec2 feat: 将kb 从沙盒映射中移除，取而代之的是一个新的 Open 工具，可以提供自由且可控的文件访问 2026-05-17 01:58:04 +08:00
Wenjie Zhang
0627bc0db6 feat(kb): 添加打开知识库文档功能及相关输入模型，优化文件内容读取 2026-05-17 01:58:04 +08:00
supreme0597
74b9160a99 fix(skill): 修复技能安装审核问题 
- 拆分技能安装流程，避免慢速拉取阶段占用数据库连接

- 使用 ORM 读改写并加行锁追加 agent 配置 skills，避免重复和并发丢更新

- 强化沙盒目录下载错误处理并补充相关单元测试
 2026-05-17 01:58:04 +08:00
supreme0597
554c83a5b4 fix(skill): 修复安装技能时配置持久化路径错误及单元测试失败的问题 
- 修正 AgentConfigRepository 技能写入路径，确保技能保存至 config_json->context->skills
- 修复 test_install_skill 单元测试的各种 mock 与断言，解决由于接口变更和依赖不匹配导致的失败
 2026-05-17 01:58:04 +08:00
supreme0597
e153e86fd9 fix(skill): 修复 install_skill 同步异步混用及数据库连接问题 
- 将 install_skill 改为 async def，消除 asyncio.run() 事件循环冲突
- 修复 agent_config_repository 表名及 jsonb 类型转换
- 增加数据库连接池配置，避免高并发耗尽连接
- 修复远程 skill 批量安装列表引用共享 bug
- 修复 slug 冲突 warning 误报（目录名 vs SKILL.md name）
- 新增 UserRepository 支持外部传入 db 会话
- 更新测试适配 async 签名
 2026-05-17 01:58:04 +08:00
supreme0597
fadf6a0abe feat(skill): 新增 Agent 会话中安装 Skill 功能 
- 新增 install_skill 工具，支持从 Sandbox 路径或 Git 仓库安装 skill
- 支持管理员权限校验（admin/superadmin）
- 安装后自动持久化到 agent config，新对话自动生效
- 动态激活当前会话，无需重启
- 新增 AgentConfigRepository.add_skills_to_config_json() 原子 JSONB 操作
- 新增 21 个单元测试，覆盖权限、Schema、安装流程等场景
 2026-05-17 01:58:04 +08:00
supreme0597
44d1b20383 feat(skills): 优化远程 Skill 批量安装，单次克隆完成多 skill 安装 
新增 install_remote_skills_batch() 函数，利用 npx skills add 原生多 --skill 支持，
将安装 N 个 skill 的仓库克隆次数从 2N 降至 1。

后端:
- remote_skill_install_service.py 新增批处理 + _find_skill_dir()
- skill_router.py 新增 POST /remote/install-batch 端点 (admin 权限)
- 非法 skill 名不阻塞其他合法 skill，结果按请求顺序返回
- CLI 部分失败时仍导入已安装的 skill
- import 失败后 rollback session，不影响后续导入

前端:
- skill_api.js 新增 installRemoteSkillsBatch()
- SkillCardList.vue 改为单次批处理调用

测试:
- 4 个单元测试覆盖正常安装/缺失跳过/部分失败/非法名场景

文档:
- docs/develop-guides/roadmap.md 更新开发记录
- docs/vibe/2026-05-14-remote-skill-batch-install-plan.md 方案文档（含设计决策）
 2026-05-14 17:15:38 +08:00
Wenjie Zhang
33a71068ed feat(auth): 下放扩展管理权限 
允许管理员进入扩展管理并管理 Skills，补充权限测试和 PR 检查说明，保持前后端权限口径一致。

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-05-14 13:13:41 +08:00
Wenjie Zhang
bdf983f1e0 fix(parser): 修复 Docling 图片异常占位回填 
保留上传失败的图片占位说明，并补充混合图片类型回填顺序的回归测试，避免占位符错位或异常路径掩盖原始错误。

Taskr: 2026-05-12-fix-docling-image-replacement-regression
 2026-05-12 10:17:44 +08:00
Wenjie Zhang
ab513e2619 feat: 优化评估基准生成，支持仅使用 commonrag/Milvus 知识库，调整参数配置 2026-05-06 22:12:09 +08:00
Wenjie Zhang
179b048f07 refactor(eval): 重构评估指标和基准生成 
- 引入了一个新的指标计算模块，用于检索和答案评估。
-通过整合基准生成和评估指标来简化评估服务。
-为新指标和基准生成功能添加了单元测试。
- 更新了前端组件，以利用新的图标，并改进了评估基准的样式。
-将与评估相关的逻辑整合为专门的“知识/评估”结构，以更好地组织。
 2026-05-06 18:04:31 +08:00
Wenjie Zhang
0890e504d8 feat: 添加文件状态标记功能，处理缺失 markdown_file 的情况 2026-05-06 16:59:26 +08:00
Wenjie Zhang
7fbefc0963
Merge branch 'main' into feat/workspace 2026-05-04 10:51:41 +08:00
Wenjie Zhang
1e8b20e30b fix: 修复身份认证绕过问题 
Refs GHSA-6959-99pq-c56x
 2026-05-04 09:33:47 +08:00
Wenjie Zhang
a450be57e3 fix(workspace): 修改文件上传逻辑，新增上传工具函数，支持文件大小限制和错误处理 2026-05-04 08:24:13 +08:00
Wenjie Zhang
cbd265fea8 feat(workspace): 增强工作区功能，处理符号链接和非 UTF-8 文本文件的预览支持 2026-05-04 08:18:37 +08:00
Wenjie Zhang
596eeeaaac feat(workspace): 新增工作区文件内容编辑功能，支持 Markdown 和 TXT 文件的保存与预览 2026-05-04 08:18:37 +08:00
Wenjie Zhang
981fd3170d feat(workspace): 增强工作区功能，新增默认 agents 文件创建及路径管理 2026-05-04 08:18:37 +08:00
郭诣
75b5f36f09 fix(knowledge): 修复 general parser 分块超限导致 LightRAG 索引失败 
naive_merge 不保证输出 chunk 在 token 上限内，当单行内容超过
chunk_token_num 时会产生超大 chunk，导致 LightRAG 报错
"Chunk token length 3140 exceeds chunk_token_size 1200"。

- nlp.py: 新增 hard_split_by_token_limit 公共硬切分函数
- general.py: 新增 _ensure_chunk_token_limit 兜底保护
- laws.py: 删除本地重复函数，改用 nlp 版本（DRY）
 2026-05-01 22:31:58 +08:00
Wenjie Zhang
2e0b4a8358 refactor: 增强模型提供程序管理和 UI 组件 
- 在 PostgresManager 中添加了用于嵌入和重新排序基本 URL 的新列。
- 更新了模型提供程序数据结构，以包含新的端点。
- 重构了模型提供程序服务和路由器中的凭据状态检查。
- 引入了一个可重用的组件，用于跨组件进行模型状态检查。
- 通过调整页面内边距的 CSS 变量，提高了 UI 的响应速度。
- 重构了模型选择器组件，以利用新的模型状态组件。
- 更新了模型配置视图，以处理响应式编辑模型状态。
- 清理了未使用的代码，并改进了模型状态检查中的错误处理。
 2026-04-26 19:59:15 +08:00
Wenjie Zhang
db13abaa63 feat(model): 增强模型配置功能，支持手动添加模型及源字段，优化远端模型加载逻辑 2026-04-26 15:03:20 +08:00
Wenjie Zhang
d177506d15 refactor(models): 重构模型配置[WIP] 2026-04-25 23:58:01 +08:00
Wenjie Zhang
743b5b03c4
Merge pull request #652 from Flying-Henanese/feat/add-semantic-chunking 
feat: 增加基于自然语义的文本切分功能
 2026-04-24 19:41:48 +08:00
Wenjie Zhang
be39d118fd chore(release): bump version to 0.6.1 
- 单一版本来源：__version__ 改为从 pyproject.toml 动态读取
- Docker Compose 镜像标签环境变量化 (${YUXI_VERSION:-0.6.1})
- info.template.yaml 版权信息支持版本号动态注入
- 测试断言改为动态比较，不再硬编码版本号
- 新增 bump-version.sh 发版脚本，一键同步所有版本位置
- 更新 changelog.md，记录 v0.6.1 变更内容
 2026-04-24 19:32:16 +08:00
zhou shujian
2b48190b25 chore: 标准化NLTK数据卷并清理测试文件 
- 将docker-compose.yml中的NLTK数据挂载从主机路径改为命名卷，确保跨平台一致性
- 移除测试中生成临时文件的副作用，改为控制台输出切分结果
- 修复语义切分工具中NLTK资源检查逻辑，避免重复下载并提供明确错误提示
- 优化语义切分函数签名，支持embed_fn为None时的退化处理
 2026-04-24 16:18:01 +08:00
zhou shujian
32fef0893c fix(knowledge/chunking): 修复列表和数学块切分时丢失上下文的问题 
注释掉列表和数学块前的强制切分调用，避免在遇到有序列表、无序列表或数学块时过早中断当前内容块。这确保了列表项和数学公式能够与其前面的标题和段落保持在同一语义单元中，从而保留完整的上下文信息，提高后续检索的准确性。
 2026-04-23 11:22:17 +08:00
zhou shujian
edf66bbe38 docs: 为知识分块工具函数添加详细注释 
- 为 html_table_to_key_value 函数添加处理逻辑说明，解释如何应对过长表格的切分问题
- 为 infer_heading_level 函数添加层级推断规则说明，包括数字序号和中文序号的处理
- 为 extract_table_block 函数添加表格提取算法的详细步骤说明
- 为 split_text_by_length_and_newline 函数添加分块逻辑的详细注释，解释段落和行的处理流程
- 为语义分块相关函数添加中文文档，包括句子分割、聚类算法和整体流程说明
- 更新测试用例，使用更清晰的测试文档并添加结果保存功能
 2026-04-22 17:14:10 +08:00
ZHOU Shujian
a2ed3d9a10 test(semantic_chunking): replace mock embedding with real model 
Use a real embedding model from SiliconFlow for more realistic testing.
Update test assertions to validate LaTeX formula preservation and semantic clustering of distinct chapters.
 2026-04-22 16:48:11 +08:00
ZHOU Shujian
6934e19030 feat(chunking): 新增语义分块预设，支持基于嵌入和聚类的智能切分 
- 添加语义分块预设选项，使用嵌入模型和聚类算法进行语义切分
- 实现标题路径增强、表格转换和图像标题处理等语义增强功能
- 新增NLTK相关依赖并持久化数据包，避免重复下载
- 添加完整的单元测试验证语义切分逻辑
 2026-04-22 16:48:11 +08:00
JunghwanNA
c0f17b1fe8 fix: 避免 OIDC 已绑定账号在带冒号的 subject 下被误判为冲突账号 
OIDC 原始用户名绑定使用 `oidc:{sub}:{target_user_id}` 记录占位关系，
但读取时按固定下标拆分字符串，导致 `sub` 自身包含冒号时无法回到
真实用户，回调流程会把已绑定用户误判成冲突账号。

本次改动保持现有占位格式不变，只把目标用户 ID 的解析改为从右侧
拆分，并补充覆盖 `sub` 包含冒号的单元测试；同时在 roadmap 中记录
这个回归修复，方便和 OIDC 功能演进保持同一条线索。

Constraint: 保持 OIDC 现有占位 user_id 设计，不引入新表或大范围重构
Rejected: 新增专用绑定表 | 变更范围过大，不符合当前最小修复目标
Rejected: 继续按固定位置 split | 无法兼容 subject 中合法出现的冒号
Confidence: high
Scope-risk: narrow
Reversibility: clean
Directive: 后续若继续沿用字符串占位格式，解析必须始终从尾部提取 target_user_id
Tested: OPENAI_API_KEY=dummy YUXI_SKIP_APP_INIT=1 uv run --group test pytest test/unit/services/test_oidc_service.py
Tested: OPENAI_API_KEY=dummy YUXI_SKIP_APP_INIT=1 uv run --group test ruff check package/yuxi/services/oidc_service.py test/unit/services/test_oidc_service.py
Not-tested: Docker compose 环境下的端到端 OIDC 登录流程
 2026-04-17 01:40:32 +09:00
Wenjie Zhang
9c8998699c fix(summary): 修复对话摘要中间件的工具结果卸载链路，修正路径拼接错误并补充单元测试 2026-04-12 23:38:13 +08:00
Wenjie Zhang
63786b7c66 fix: 更新知识库检索工具，支持 Dify 和 LightRAG 类型，优化结果处理逻辑 Fix Error: query_kb不支持查询dify知识库了？ 
Fixes #622
 2026-04-09 23:05:22 +08:00
Wenjie Zhang
d209c58b5d fix(parser): 修复 DOCX 图片回插顺序 2026-04-08 15:21:20 +08:00
Wenjie Zhang
8a3094cb1e feat(milvus): 增加 BM25 支持，优化混合检索功能及相关参数配置 2026-04-07 20:39:10 +08:00