002e6a356b
chore: 批量整理代码变更，修复多类细节问题
...
1. 清理测试文件中未使用的导入与冗余代码
2. 修复审计日志与批量操作的空值约束，统一填充"global"作为默认渠道
3. 调整批量消息撤回的响应语义，对齐其他端点的部分成功契约
4. 修复访问规则批量克隆的唯一约束问题，新增后缀自动处理逻辑
5. 替换anyio为asyncio并行调用，修正时间UTC导入路径
6. 优化前端外部系统概览页的刷新状态提示与缓存逻辑
7. 修复测试用例中的断言与请求方式问题，适配httpx删除请求特性
8. 重构后端路由的依赖注入，移除冗余的数据库会话依赖
9. 调整测试用例的权限校验逻辑，修正强制登出的权限判断
10. 修复语义分块测试的numpy依赖问题，清理冗余导入
2026-07-13 20:48:29 +08:00
zhou shujian
2b48190b25
chore: 标准化NLTK数据卷并清理测试文件
...
- 将docker-compose.yml中的NLTK数据挂载从主机路径改为命名卷，确保跨平台一致性
- 移除测试中生成临时文件的副作用，改为控制台输出切分结果
- 修复语义切分工具中NLTK资源检查逻辑，避免重复下载并提供明确错误提示
- 优化语义切分函数签名，支持embed_fn为None时的退化处理
2026-04-24 16:18:01 +08:00
zhou shujian
32fef0893c
fix(knowledge/chunking): 修复列表和数学块切分时丢失上下文的问题
...
注释掉列表和数学块前的强制切分调用，避免在遇到有序列表、无序列表或数学块时过早中断当前内容块。这确保了列表项和数学公式能够与其前面的标题和段落保持在同一语义单元中，从而保留完整的上下文信息，提高后续检索的准确性。
2026-04-23 11:22:17 +08:00
zhou shujian
edf66bbe38
docs: 为知识分块工具函数添加详细注释
...
- 为 html_table_to_key_value 函数添加处理逻辑说明，解释如何应对过长表格的切分问题
- 为 infer_heading_level 函数添加层级推断规则说明，包括数字序号和中文序号的处理
- 为 extract_table_block 函数添加表格提取算法的详细步骤说明
- 为 split_text_by_length_and_newline 函数添加分块逻辑的详细注释，解释段落和行的处理流程
- 为语义分块相关函数添加中文文档，包括句子分割、聚类算法和整体流程说明
- 更新测试用例，使用更清晰的测试文档并添加结果保存功能
2026-04-22 17:14:10 +08:00
ZHOU Shujian
a2ed3d9a10
test(semantic_chunking): replace mock embedding with real model
...
Use a real embedding model from SiliconFlow for more realistic testing.
Update test assertions to validate LaTeX formula preservation and semantic clustering of distinct chapters.
2026-04-22 16:48:11 +08:00
ZHOU Shujian
6934e19030
feat(chunking): 新增语义分块预设，支持基于嵌入和聚类的智能切分
...
- 添加语义分块预设选项，使用嵌入模型和聚类算法进行语义切分
- 实现标题路径增强、表格转换和图像标题处理等语义增强功能
- 新增NLTK相关依赖并持久化数据包，避免重复下载
- 添加完整的单元测试验证语义切分逻辑
2026-04-22 16:48:11 +08:00
