kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
1,192 Commits 12 Branches 0 Tags 71 MiB
9c48eee7dc
Commit Graph

25 Commits

Author SHA1 Message Date
Wenjie Zhang
450911eaad refactor(kb): 移除QA分割功能并改进分隔符处理 
移除不再使用的QA分割功能及相关代码，简化文本分块逻辑
添加分隔符转义处理以支持前端传入的转义字符
改进分块参数配置界面的描述和默认值
 2026-01-02 14:20:18 +08:00
Justin Gao
192da56fca feat(知识库): 实现文件夹功能支持 
添加文件夹创建、移动和删除功能
- 后端添加文件夹相关API和逻辑处理
- 前端实现文件夹树形展示和操作界面
- 支持文件上传到指定文件夹
- 添加拖拽移动文件功能
 2025-12-31 00:00:24 +08:00
limbo
6ea920e7e2 style: lint 2025-12-18 21:43:26 +08:00
Wenjie Zhang
cd5c6947e2 refactor(kb_utils): 重构获取嵌入配置的逻辑以提高可维护性 
优先使用新版配置格式并添加断言检查
移除旧版兼容性代码，简化逻辑
添加异常处理和日志记录
 2025-12-18 11:29:17 +08:00
Wenjie Zhang
a3edaa8129 feat(server): 添加访问日志中间件并优化日志配置 
1. 实现自定义访问日志中间件以记录请求处理时间
2. 禁用uvicorn默认访问日志处理器
优化日志格式化配置
 2025-12-17 22:55:12 +08:00
Wenjie Zhang
b8e83b71a4 fix(embedding): 修复嵌入模型配置中的兼容性问题 
- 修复 get_embedding_config 中对 model/name 字段的兼容性处理
- 改进错误处理和日志记录
- 支持多种配置格式以保持向后兼容性
- 修复 lightrag.py 中 embedding 函数的模型名称获取逻辑
 2025-12-15 13:35:43 +08:00
Wenjie Zhang
83e0caae7d feat(evaluation): 新增RAG评估功能模块 
实现RAG评估系统，包括基准管理、评估指标计算和结果展示功能

- 添加评估路由和API接口
- 实现评估指标计算工具类
- 新增基准上传和自动生成功能
- 添加评估结果展示组件
- 完善相关文档和测试用例
 2025-12-09 16:21:18 +08:00
Wenjie Zhang
fd5fca0076 Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-12-08 14:19:01 +08:00
Wenjie Zhang
ebaccea507 refactor(knowledge): 优化lightrag的 ollama embedding配置处理并添加查询参数过滤 
重构get_embedding_config函数，直接使用model_dump返回配置信息
在LightRagKB中增加Ollama embedding支持并调整token大小限制
添加查询参数过滤逻辑，只保留有效参数
 2025-12-08 13:23:14 +08:00
Wenjie Zhang
7750a5f106 feat(database): 实现同名文件检测与MinIO存储支持 
- 添加同名文件检测功能，当上传文件时检查知识库中是否存在同名文件并提示用户
- 重构文件存储逻辑，使用MinIO作为主要存储后端，支持本地和MinIO文件的统一处理
- 优化文件下载功能，根据文件路径类型自动选择本地或MinIO下载方式
- 新增同名文件列表展示组件，支持下载和删除操作

Co-authored-by: YuChuan <xerrors@qq.com>
 2025-12-07 23:38:20 +08:00
Wenjie Zhang
49253cbc04 fix(embedding): 修复ollama model 不起作用的 bug，并修复model info 由于 getattr 不生效的 bug # 361 
- 在 EmbedModelInfo 中添加 model_id 字段
- 修改 get_embedding_config 以优先使用 model_id 选择模型
- 重构 MilvusKB 的嵌入函数获取逻辑
- 添加调试日志并优化错误处理
 2025-12-03 18:28:31 +08:00
Wenjie Zhang
31a4e54764 refactor: 优化文件下载，移除原有逻辑 
清理minio客户端导入顺序
移除已处理的TODO注释和废弃代码
 2025-12-02 21:17:32 +08:00
miluELK
2094fdf25e Merge remote-tracking branch 'origin/main' 2025-12-02 16:34:52 +08:00
miluELK
954cf3db83 fix: 修复chroma和lightRAG中prepare_item_metadata没有添加await的问题。用make优化了格式 2025-12-02 16:15:32 +08:00
Wenjie Zhang
13d31cfb37 fix: 保留文本块原始空格并优化块合并逻辑 
修复kb_utils.py中文本块内容被意外去除空格的问题
优化chunkUtils.js中块合并逻辑，当无重叠时添加换行符
 2025-11-30 17:00:42 +08:00
miluELK
103b3affee feat:为kb的download_document,add_documents,delete_document操作接口使用了minio管理文件。实现了minio的部分异步操作 
debug:minio 7.2.19使用时需要显式指定参数
feat：为excel添加了特殊的处理方式，通过保存表头避免chunk丢失信息，需要安装openpyxl
 2025-11-29 17:49:42 +08:00
Wenjie Zhang
0ff771dc19 fix: 禁用URL文档上传与解析功能 
出于安全考虑，移除所有URL文档上传与解析相关功能：
1. 在知识库路由层添加URL上传校验
2. 移除URL元数据生成逻辑
3. 禁用URL转markdown功能
4. 在各知识库实现中移除URL处理逻辑
5. 在前端禁用URL上传选项并添加提示
 2025-11-23 14:57:38 +08:00
Wenjie Zhang
3e6b3b2b6e style: 优化部分按钮并统一部分颜色 2025-11-14 00:56:24 +08:00
supreme0597
b7ba646fae feat: 新增知识库文档重新分块功能 2025-11-14 00:33:39 +08:00
Wenjie Zhang
d999613f41 refactor: 优化环境变量获取逻辑，确保默认值处理 
- 在多个文件中更新环境变量的获取方式，使用 `or` 语法简化代码，确保在未设置环境变量时使用默认值。
- 移除 `.env.template` 中与 LightRAG 相关的环境变量配置，简化配置文件。
- 更新 `pyproject.toml` 中的项目描述，提供更清晰的项目定位。
- 在文档中增加对图片上传响应格式的详细说明，提升用户理解。
 2025-11-12 19:53:56 +08:00
Wenjie Zhang
a1fdcbc36c style: ruff format 2025-10-24 00:11:52 +08:00
Wenjie Zhang
f6547fef13 fix: 处理 embed_info 可能为字典或 EmbedModelInfo 对象的情况，确保获取模型名称和其他属性的兼容性 2025-10-23 22:57:01 +08:00
Wenjie Zhang
b36f6e78f3 refactor(time): 重构应用程序中的日期时间处理 
- 新增工具模块 `datetime_utils.py`，用于统一处理UTC和上海时区
- 在 `manager.py`、`models.py` 等后端文件中，将直接操作日期时间的代码替换为工具函数
- 更新前端组件，使用 `dayjs` 进行时区感知的日期格式化和解析
- 移除冗余的日期格式化逻辑，将其集中到工具函数中
- 通过确保所有时间戳均以亚洲/上海时区显示，提升用户体验
 2025-10-13 15:08:54 +08:00
Wenjie Zhang
246e133eb4 feat: 添加文件内容哈希计算功能，防止重复文件上传并更新相关逻辑 2025-10-11 21:52:48 +08:00
Wenjie Zhang
2112d4833d refactor(knowledge): 重构知识库模块，优化架构和实现 
- 优化知识库文件夹结构，增强可维护性
- 新增知识库管理器和工厂类，统一管理不同类型的知识库实例
- 实现知识库的基本操作接口，包括创建、更新和删除数据库
- 引入新的知识库实现类（ChromaKB、MilvusKB、LightRagKB），支持多种存储后端
- 增强文件路径验证，确保安全性
- 更新文档，提供新的知识库接口说明
 2025-09-23 13:07:50 +08:00