Wenjie Zhang
|
7a24179913
|
refactor(parser): 将同步zip文件处理改为异步实现 Fixes: #377
修改mineru_parser.py和mineru_official_parser.py中的zip处理逻辑，使用asyncio.run调用异步_process_zip_file函数
更新indexing.py中的_process_zip_file和相关辅助函数为异步实现
调整docker-compose.yml中的容器命名和文档中的服务启动命令
|
2025-12-18 20:58:48 +08:00 |
|
Wenjie Zhang
|
98fdce0e79
|
refactor: 移除对.doc文件格式的支持
|
2025-12-18 11:27:21 +08:00 |
|
Wenjie Zhang
|
83e0caae7d
|
feat(evaluation): 新增RAG评估功能模块
实现RAG评估系统，包括基准管理、评估指标计算和结果展示功能
- 添加评估路由和API接口
- 实现评估指标计算工具类
- 新增基准上传和自动生成功能
- 添加评估结果展示组件
- 完善相关文档和测试用例
|
2025-12-09 16:21:18 +08:00 |
|
Wenjie Zhang
|
7750a5f106
|
feat(database): 实现同名文件检测与MinIO存储支持
- 添加同名文件检测功能，当上传文件时检查知识库中是否存在同名文件并提示用户
- 重构文件存储逻辑，使用MinIO作为主要存储后端，支持本地和MinIO文件的统一处理
- 优化文件下载功能，根据文件路径类型自动选择本地或MinIO下载方式
- 新增同名文件列表展示组件，支持下载和删除操作
Co-authored-by: YuChuan <xerrors@qq.com>
|
2025-12-07 23:38:20 +08:00 |
|
Wenjie Zhang
|
100f9dac7f
|
style: 统一代码格式并修复格式问题
|
2025-12-04 10:12:01 +08:00 |
|
Wenjie Zhang
|
10ad84a679
|
Merge branch 'feature/documents'
|
2025-12-02 21:19:55 +08:00 |
|
Wenjie Zhang
|
31a4e54764
|
refactor: 优化文件下载，移除原有逻辑
清理minio客户端导入顺序
移除已处理的TODO注释和废弃代码
|
2025-12-02 21:17:32 +08:00 |
|
miluELK
|
954cf3db83
|
fix: 修复chroma和lightRAG中prepare_item_metadata没有添加await的问题。用make优化了格式
|
2025-12-02 16:15:32 +08:00 |
|
miluELK
|
103b3affee
|
feat:为kb的download_document,add_documents,delete_document操作接口使用了minio管理文件。实现了minio的部分异步操作
debug:minio 7.2.19使用时需要显式指定参数
feat：为excel添加了特殊的处理方式，通过保存表头避免chunk丢失信息，需要安装openpyxl
|
2025-11-29 17:49:42 +08:00 |
|
Wenjie Zhang
|
18d46ca04a
|
feat(文档解析): 新增Word文档图片解析支持并上传至MinIO
新增对Word文档中图片的解析支持，能够提取文档中的图片并上传至MinIO存储，同时生成包含图片链接的Markdown格式文本。已支持Docx格式的Word文档处理，完善了文档解析功能。
|
2025-11-26 18:14:07 +08:00 |
|
Wenjie Zhang
|
0ff771dc19
|
fix: 禁用URL文档上传与解析功能
出于安全考虑，移除所有URL文档上传与解析相关功能：
1. 在知识库路由层添加URL上传校验
2. 移除URL元数据生成逻辑
3. 禁用URL转markdown功能
4. 在各知识库实现中移除URL处理逻辑
5. 在前端禁用URL上传选项并添加提示
|
2025-11-23 14:57:38 +08:00 |
|
Wenjie Zhang
|
14bcb29d5b
|
重构 zip 格式 markdown 入库以及其他风格优化 (#336)
* 更新日志
* refactor(docs): 重构 zip 格式的支持逻辑
---------
Co-authored-by: lihuan-coder <1120083712@qq.com>
|
2025-11-15 12:18:31 +08:00 |
|
Wenjie Zhang
|
12bfc58709
|
feat: MinerU 升级到 2.5 版本，同时优化整体的 OCR 体验。
|
2025-10-25 14:26:47 +08:00 |
|
Wenjie Zhang
|
a1fdcbc36c
|
style: ruff format
|
2025-10-24 00:11:52 +08:00 |
|
Wenjie Zhang
|
d56cec5002
|
refactor: 适配了 langchain v1 版本，但并引入新特性，仅无兼容性错误
|
2025-10-23 01:39:01 +08:00 |
|
Wenjie Zhang
|
c3a8360a77
|
fix: 修复 doc 解析的问题，并增加文件类型支持检查和相关API
- 在文件上传功能中添加对不支持文件类型的检查，返回400错误。
- 新增获取支持文件类型的API接口。
- 更新前端文件上传组件，动态加载支持的文件类型并提供用户提示。
|
2025-10-11 10:36:57 +08:00 |
|
Wenjie Zhang
|
f1c843addc
|
refactor: 清理未使用的导入和优化代码格式
|
2025-09-02 01:08:42 +08:00 |
|
Wenjie Zhang
|
7641ab3699
|
stylle: 使用更加严格的风格检查以及代码格式化方法
|
2025-09-01 22:37:03 +08:00 |
|
Wenjie Zhang
|
92fe65fecf
|
refactor(embedding): 重构嵌入模型代码，添加异步支持并改进错误处理
- 将BaseEmbeddingModel改为抽象基类(ABC)
- 添加异步预测方法apredict
- 重构批量编码方法，添加任务状态跟踪
- 为Ollama和Other嵌入实现添加异步支持
- 改进错误处理和日志记录
- 添加类型注解提高代码可读性
docs: 更新changelog记录已知问题
|
2025-08-28 13:50:48 +08:00 |
|
Wenjie Zhang
|
b4439996fa
|
refactor(knowledge): 重构文件处理逻辑并提取到独立模块
将文件处理和URL处理逻辑从KnowledgeBase类提取到独立的indexing模块
更新模型配置和README，添加新的API Key获取链接
优化日志输出格式并添加新的文件预处理脚本
|
2025-07-29 12:58:13 +08:00 |
|
Wenjie Zhang
|
cf3cb5ef33
|
feat(ocr): 增强OCR处理功能，支持图像解析和参数传递，优化Docker环境变量配置
|
2025-07-27 04:12:49 +08:00 |
|
Wenjie Zhang
|
770d098f05
|
refactor(database): 文件结构优化，顺便修复了 chroma 的 embedding 错误
|
2025-07-23 19:21:45 +08:00 |
|