ForcePilot

kris/ForcePilot

Fork 0

Commit Graph

Author	SHA1	Message	Date
zhou shujian	2b48190b25	chore: 标准化NLTK数据卷并清理测试文件 - 将docker-compose.yml中的NLTK数据挂载从主机路径改为命名卷，确保跨平台一致性 - 移除测试中生成临时文件的副作用，改为控制台输出切分结果 - 修复语义切分工具中NLTK资源检查逻辑，避免重复下载并提供明确错误提示 - 优化语义切分函数签名，支持embed_fn为None时的退化处理	2026-04-24 16:18:01 +08:00
zhou shujian	edf66bbe38	docs: 为知识分块工具函数添加详细注释 - 为 html_table_to_key_value 函数添加处理逻辑说明，解释如何应对过长表格的切分问题 - 为 infer_heading_level 函数添加层级推断规则说明，包括数字序号和中文序号的处理 - 为 extract_table_block 函数添加表格提取算法的详细步骤说明 - 为 split_text_by_length_and_newline 函数添加分块逻辑的详细注释，解释段落和行的处理流程 - 为语义分块相关函数添加中文文档，包括句子分割、聚类算法和整体流程说明 - 更新测试用例，使用更清晰的测试文档并添加结果保存功能	2026-04-22 17:14:10 +08:00
ZHOU Shujian	6934e19030	feat(chunking): 新增语义分块预设，支持基于嵌入和聚类的智能切分 - 添加语义分块预设选项，使用嵌入模型和聚类算法进行语义切分 - 实现标题路径增强、表格转换和图像标题处理等语义增强功能 - 新增NLTK相关依赖并持久化数据包，避免重复下载 - 添加完整的单元测试验证语义切分逻辑	2026-04-22 16:48:11 +08:00

Author

SHA1

Message

Date

zhou shujian

2b48190b25

chore: 标准化NLTK数据卷并清理测试文件

- 将docker-compose.yml中的NLTK数据挂载从主机路径改为命名卷，确保跨平台一致性
- 移除测试中生成临时文件的副作用，改为控制台输出切分结果
- 修复语义切分工具中NLTK资源检查逻辑，避免重复下载并提供明确错误提示
- 优化语义切分函数签名，支持embed_fn为None时的退化处理

2026-04-24 16:18:01 +08:00

zhou shujian

edf66bbe38

docs: 为知识分块工具函数添加详细注释

- 为 html_table_to_key_value 函数添加处理逻辑说明，解释如何应对过长表格的切分问题
- 为 infer_heading_level 函数添加层级推断规则说明，包括数字序号和中文序号的处理
- 为 extract_table_block 函数添加表格提取算法的详细步骤说明
- 为 split_text_by_length_and_newline 函数添加分块逻辑的详细注释，解释段落和行的处理流程
- 为语义分块相关函数添加中文文档，包括句子分割、聚类算法和整体流程说明
- 更新测试用例，使用更清晰的测试文档并添加结果保存功能

2026-04-22 17:14:10 +08:00

ZHOU Shujian

6934e19030

feat(chunking): 新增语义分块预设，支持基于嵌入和聚类的智能切分

- 添加语义分块预设选项，使用嵌入模型和聚类算法进行语义切分
- 实现标题路径增强、表格转换和图像标题处理等语义增强功能
- 新增NLTK相关依赖并持久化数据包，避免重复下载
- 添加完整的单元测试验证语义切分逻辑

2026-04-22 16:48:11 +08:00

3 Commits