ForcePilot/backend/package/yuxi/knowledge/chunking/ragflow_like/parsers
郭诣 75b5f36f09 fix(knowledge): 修复 general parser 分块超限导致 LightRAG 索引失败
naive_merge 不保证输出 chunk 在 token 上限内,当单行内容超过
chunk_token_num 时会产生超大 chunk,导致 LightRAG 报错
"Chunk token length 3140 exceeds chunk_token_size 1200"。

- nlp.py: 新增 hard_split_by_token_limit 公共硬切分函数
- general.py: 新增 _ensure_chunk_token_limit 兜底保护
- laws.py: 删除本地重复函数,改用 nlp 版本(DRY)
2026-05-01 22:31:58 +08:00
..
__init__.py feat: 添加 separator 解析器及相关配置,支持严格分隔功能 Question: 知识库对excel切分无法按行切分 2026-04-28 20:30:02 +08:00
book.py refactor: 将后端代码迁移至 backend 目录 2026-03-24 11:08:12 +08:00
general.py fix(knowledge): 修复 general parser 分块超限导致 LightRAG 索引失败 2026-05-01 22:31:58 +08:00
laws.py fix(knowledge): 修复 general parser 分块超限导致 LightRAG 索引失败 2026-05-01 22:31:58 +08:00
qa.py refactor: 将后端代码迁移至 backend 目录 2026-03-24 11:08:12 +08:00
semantic.py fix(knowledge/chunking): 修复列表和数学块切分时丢失上下文的问题 2026-04-23 11:22:17 +08:00
separator.py feat: 添加 separator 解析器及相关配置,支持严格分隔功能 Question: 知识库对excel切分无法按行切分 2026-04-28 20:30:02 +08:00