Wenjie Zhang
|
e3c5f41c7c
|
refactor: 知识库重新设计
- 默认的知识库类型新增图谱抽取能力
- 移除 LightRAG 以及原有的知识图谱支持
- 移除所有兼容性的代码
|
2026-05-26 17:39:12 +08:00 |
|
Wenjie Zhang
|
25b80c7d3a
|
refactor: 重构 Chunk 逻辑，异步部分参数
|
2026-05-26 17:39:12 +08:00 |
|
Wenjie Zhang
|
f29ad639e8
|
fix: 修复分块硬切句末标点归属
|
2026-05-17 01:18:03 +08:00 |
|
郭诣
|
75b5f36f09
|
fix(knowledge): 修复 general parser 分块超限导致 LightRAG 索引失败
naive_merge 不保证输出 chunk 在 token 上限内，当单行内容超过
chunk_token_num 时会产生超大 chunk，导致 LightRAG 报错
"Chunk token length 3140 exceeds chunk_token_size 1200"。
- nlp.py: 新增 hard_split_by_token_limit 公共硬切分函数
- general.py: 新增 _ensure_chunk_token_limit 兜底保护
- laws.py: 删除本地重复函数，改用 nlp 版本（DRY）
|
2026-05-01 22:31:58 +08:00 |
|
Wenjie Zhang
|
bba9bc974f
|
feat: 添加 separator 解析器及相关配置，支持严格分隔功能 Question: 知识库对excel切分无法按行切分
Fixes #664
|
2026-04-28 20:30:02 +08:00 |
|
GitHub Actions
|
a3dd2c96fe
|
style: auto-format with ruff [skip ci]
|
2026-04-24 11:42:53 +00:00 |
|
zhou shujian
|
2b48190b25
|
chore: 标准化NLTK数据卷并清理测试文件
- 将docker-compose.yml中的NLTK数据挂载从主机路径改为命名卷，确保跨平台一致性
- 移除测试中生成临时文件的副作用，改为控制台输出切分结果
- 修复语义切分工具中NLTK资源检查逻辑，避免重复下载并提供明确错误提示
- 优化语义切分函数签名，支持embed_fn为None时的退化处理
|
2026-04-24 16:18:01 +08:00 |
|
zhou shujian
|
32fef0893c
|
fix(knowledge/chunking): 修复列表和数学块切分时丢失上下文的问题
注释掉列表和数学块前的强制切分调用，避免在遇到有序列表、无序列表或数学块时过早中断当前内容块。这确保了列表项和数学公式能够与其前面的标题和段落保持在同一语义单元中，从而保留完整的上下文信息，提高后续检索的准确性。
|
2026-04-23 11:22:17 +08:00 |
|
zhou shujian
|
edf66bbe38
|
docs: 为知识分块工具函数添加详细注释
- 为 html_table_to_key_value 函数添加处理逻辑说明，解释如何应对过长表格的切分问题
- 为 infer_heading_level 函数添加层级推断规则说明，包括数字序号和中文序号的处理
- 为 extract_table_block 函数添加表格提取算法的详细步骤说明
- 为 split_text_by_length_and_newline 函数添加分块逻辑的详细注释，解释段落和行的处理流程
- 为语义分块相关函数添加中文文档，包括句子分割、聚类算法和整体流程说明
- 更新测试用例，使用更清晰的测试文档并添加结果保存功能
|
2026-04-22 17:14:10 +08:00 |
|
ZHOU Shujian
|
6934e19030
|
feat(chunking): 新增语义分块预设，支持基于嵌入和聚类的智能切分
- 添加语义分块预设选项，使用嵌入模型和聚类算法进行语义切分
- 实现标题路径增强、表格转换和图像标题处理等语义增强功能
- 新增NLTK相关依赖并持久化数据包，避免重复下载
- 添加完整的单元测试验证语义切分逻辑
|
2026-04-22 16:48:11 +08:00 |
|
Wenjie Zhang
|
410dd47c14
|
refactor: 将后端代码迁移至 backend 目录
- 将 server/, src/, scripts/, test/ 等目录移动到 backend/ 目录下
- 使用 git rename 保留文件历史记录
- 更新 docker-compose.yml 和 api.Dockerfile 配置
WIP: 项目结构重构进行中
|
2026-03-24 11:08:12 +08:00 |
|