kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
1,118 Commits 12 Branches 0 Tags 71 MiB
6ea920e7e2
Commit Graph

50 Commits

Author SHA1 Message Date
Wenjie Zhang
7a24179913 refactor(parser): 将同步zip文件处理改为异步实现 Fixes: #377 
修改mineru_parser.py和mineru_official_parser.py中的zip处理逻辑，使用asyncio.run调用异步_process_zip_file函数
更新indexing.py中的_process_zip_file和相关辅助函数为异步实现
调整docker-compose.yml中的容器命名和文档中的服务启动命令
 2025-12-18 20:58:48 +08:00
Wenjie Zhang
100f9dac7f style: 统一代码格式并修复格式问题 2025-12-04 10:12:01 +08:00
Wenjie Zhang
18f641ea39 refactor(mineru_parser): 修复 zip 解析的 bug 
移除对 base64 编码 ZIP 数据和 JSON 格式响应的支持，直接处理响应内容
添加调试日志记录响应状态和内容类型
优化错误处理日志记录
 2025-11-27 13:18:42 +08:00
Wenjie Zhang
e369f751ad feat(mineru_parser): 添加对docker 部署的mineru ZIP格式响应和图片解析的支持 
添加对MinerU解析器返回ZIP格式响应的处理逻辑，支持包含图片的文档解析。同时从环境变量读取MINERU_VL_SERVER配置，替代直接使用参数中的server_url，提高配置安全性。
 2025-11-27 12:41:28 +08:00
Wenjie Zhang
9c7a5fb4ec docs: 添加GitHub问题模板和PR模板 2025-11-20 22:30:17 +08:00
Wenjie Zhang
292237e5e2 feat(mineru_official_parser): 基于mineru官方API的接口新增图片自动上传到文件数据库。 2025-11-17 17:08:53 +08:00
Wenjie Zhang
d999613f41 refactor: 优化环境变量获取逻辑，确保默认值处理 
- 在多个文件中更新环境变量的获取方式，使用 `or` 语法简化代码，确保在未设置环境变量时使用默认值。
- 移除 `.env.template` 中与 LightRAG 相关的环境变量配置，简化配置文件。
- 更新 `pyproject.toml` 中的项目描述，提供更清晰的项目定位。
- 在文档中增加对图片上传响应格式的详细说明，提升用户理解。
 2025-11-12 19:53:56 +08:00
Wenjie Zhang
25584e366a fix: 修复文档解析器中的后端参数设置 2025-10-26 17:55:21 +08:00
Wenjie Zhang
12bfc58709 feat: MinerU 升级到 2.5 版本，同时优化整体的 OCR 体验。 2025-10-25 14:26:47 +08:00
Wenjie Zhang
c8fa8a0131 feat: 更新MinerU(v2.5) 配置，修改镜像名称和后端，优化OCR处理逻辑 2025-10-24 01:09:24 +08:00
Wenjie Zhang
42b75979dd chore: 修复数据库迁移中潜在的 BUG 2025-10-15 22:31:30 +08:00
Wenjie Zhang
2ac690eb81 feat: 更新聊天代理和任务管理器，支持通过线程ID管理消息，优化日志记录和敏感内容检查 2025-10-12 13:09:29 +08:00
Wenjie Zhang
790c068eb6 fix(docs): 更新 README 和文档路径，添加 MinIO 存储模块文档 
- 修改 README 中的模型配置路径，确保指向正确的配置文件位置
- 新增 MinIO 存储模块文档，提供基本使用和高级使用示例
- 更新内容审查机制和品牌信息配置的相关路径
- 移除旧的用户模型和线程模型，重构数据库模型管理
- 优化代码结构，确保数据库管理器和模型的导入路径一致
 2025-09-23 10:48:44 +08:00
Wenjie Zhang
680dd92457 lint: Python Ruff Lint 2025-09-19 01:32:07 +08:00
Wenjie Zhang
782eb4ae31 refactor(chat): 优化异步调用及增强内容审查机制 
- 将chat_router中的predict_async重命名为call_async并调用model.call替代model.predict
- 在流式消息处理中新增加基于LLM的内容审查
- 配置类中增加enable_content_guard_llm及对应LLM模型配置项
- 兼容models.private.yaml替代旧的models.private.yml文件名
- chat_model及embedding模块统一将predict方法重命名为call或encode，增强接口语义
- ContentGuard新增基于LLM的内容合规检测功能，支持动态加载审查模型
- 更新静态模型配置提示，建议使用models.private.yaml文件
- 新增示例CSV测试数据文件，补充测试用例基础数据
 2025-09-19 00:57:53 +08:00
Wenjie Zhang
e5e39d25ef lint(src): 规范导入语句及代码格式 2025-09-18 23:18:58 +08:00
Wenjie Zhang
342c541645 feat(guard): 添加内容审查模块并集成至聊天服务（默认关闭） 
- 新增内容审查关键词库 src/static/bad_keywords.txt，支持自定义敏感词
- 实现内容审查插件 src/plugins/guard.py，提供敏感词检测功能
- 配置新增 enable_content_guard 选项，支持开关内容审查功能
- 聊天路由 chat_router.py 集成输入和输出内容审查逻辑，拦截敏感内容
- 前端设置页增加内容审查开关，方便管理员启用或禁用该功能
- 错误时前端显示详细错误信息，并停止消息流，提升用户体验
- README 添加服务安全说明文档，介绍内容审查机制与配置方法
 2025-09-18 20:33:38 +08:00
Wenjie Zhang
f1c843addc refactor: 清理未使用的导入和优化代码格式 2025-09-02 01:08:42 +08:00
Wenjie Zhang
7641ab3699 stylle: 使用更加严格的风格检查以及代码格式化方法 2025-09-01 22:37:03 +08:00
Wenjie Zhang
67f3af3257 docs: update document 2025-08-01 16:59:03 +08:00
Wenjie Zhang
b403d8dd90 chore(dependencies): 更新mineru依赖为mineru[core]，简化文档解析逻辑 2025-07-27 12:04:44 +08:00
Wenjie Zhang
cf3cb5ef33 feat(ocr): 增强OCR处理功能，支持图像解析和参数传递，优化Docker环境变量配置 2025-07-27 04:12:49 +08:00
Wenjie Zhang
7d4722b62c feat: 更新知识库相关配置 
- 实现QA数据
- 优化现在创建知识库的体验
- 优化文件处理与加载方法
- 整体的格式检查与优化
- 优化 Embedding model 的加载逻辑，修复并行问题
- 优化整体的颜色布局
- 移除未使用的接口（前后端）
- 优化知识库的 chunk 逻辑
- 添加新的 Embedding模型支持
- 修复新建知识库后，Agent无法reload的问题
 2025-07-26 03:36:54 +08:00
Wenjie Zhang
d50399f217 feat: 移除无关文件，并添加 paddlex cli 的脚本 2025-07-22 00:23:08 +08:00
Wenjie Zhang
84039ae474 feat: 添加OCR服务健康检查和统计功能，优化PDF解析逻辑，增强错误处理机制 2025-07-21 19:25:07 +08:00
Wenjie Zhang
db38035577 chore: 移除不再使用的脚本和优化日志信息 
- 删除了 download_models.sh 和 migrate_kb_to_sqlite.py 脚本，清理不必要的代码。
- 在 base_router.py 中更新日志信息，调整为英文以提高可读性。
- 移除 retriever.restart() 调用，简化重启逻辑。
- 优化 OCRPlugin 中的注释，去除冗余代码。
 2025-06-27 01:47:52 +08:00
Wenjie Zhang
286e06f25b style: ruff check fix 2025-06-23 10:32:01 +08:00
Wenjie Zhang
eeb53f4774 feat: 添加 PaddleX OCR 支持及示例更新 
- 在 example_usage.py 中更新分析文档的示例，使用新的 PaddleX OCR 服务。
- 在 data_router.py 中优化文件处理反馈信息，增加处理失败文件的统计。
- 在 indexing.py 中新增对 PaddleX OCR 的支持。
- 在 _ocr.py 中添加 process_pdf_paddlex 方法，集成 PaddleX OCR 处理逻辑。
- 新增 paddlex.py 文件，封装 PaddleX 版面解析服务的 API 调用。
- 更新前端 DataBaseInfoView.vue，增加 PaddleX OCR 选项。
- 新增测试文件 PixPin_2025-06-19_23-42-17.png 以支持 OCR 测试。
 2025-06-23 10:09:51 +08:00
Wenjie Zhang
c6ab72cd5b refactor: 项目配置重构及 OCR 功能增强 
- 更新 .gitignore，忽略本地文件。
- 调整 docker-compose.yml，优化服务配置及端口设置。
- api.Dockerfile 更换为基于 NVIDIA CUDA 的镜像，支持 GPU。
- pyproject.toml 新增依赖 langchain-tavily，并升级 mineru。
- tools_factory.py 重构，采用 langchain_tavily 的 TavilySearch。
- knowledgebase.py 增强 Milvus 连接异常的错误日志。
- _ocr.py 中 OCRPlugin 升级，使用 mineru 新解析方法，并调整健康检查 URL。
- 新增 mineru.py，实现文档解析逻辑。
- logging_config.py 优化日志配置，采用 loguru 管理日志。
- DataBaseInfoView.vue 新增分块参数配置及文件上传相关弹窗和功能。
 2025-06-18 19:07:29 +08:00
Wenjie Zhang
a6857c3e21 style: fix ruff check 2025-05-24 11:29:45 +08:00
Wenjie Zhang
911f88d7eb feat: 添加mineru健康检查端点并优化类型注解 
- 在 app.py 中新增健康检查端点以确认 API 正在运行。
- 优化了类型注解，使用更简洁的语法。
- 在 db_manager.py 中修正了日志信息的语言。
- 在 OCR 插件中添加了对 MinerU OCR 服务健康检查的逻辑。
 2025-05-23 22:16:34 +08:00
Wenjie Zhang
b0db3c6b0d feat: 更新 Docker 配置和添加 MinerU OCR 服务 
- 修改了 docker-compose.yml，更新了 API 和 Web 服务的镜像名称，并添加了 MinerU OCR 服务。
- 在 pyproject.toml 中添加了 Ruff 代码检查工具的配置。
- 更新了 API 和 Web Dockerfile，添加了代理环境变量。
- 新增了用于拉取 Docker 镜像的脚本。
- 在文档中添加了关于如何使用 MinerU OCR 的说明。
- 优化了代码结构和日志记录，提升了可读性和维护性。
 2025-05-23 15:30:14 +08:00
Wenjie Zhang
5ab1b5c1f1 优化加载逻辑 2025-03-14 10:08:51 +08:00
Wenjie Zhang
8132ac2e9b 更新 ocr 模型 2025-03-08 20:26:00 +08:00
Wenjie Zhang
e04add5bc2 update logger 2025-02-27 19:35:25 +08:00
Wenjie Zhang
d9e39a7a7d Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-02-20 01:26:12 +08:00
Wenjie Zhang
e968a3d9f8 fix pdf parser bug 2024-09-29 16:13:06 +08:00
Wenjie Zhang
a3a7ab034b trans cv2 to PIL 2024-09-11 01:08:37 +08:00
Wenjie Zhang
302e59c2c9 update 2024-09-09 17:07:03 +08:00
Xerrors
14d965065c Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-08-08 17:13:32 +08:00
Xerrors
32740f9979 reformat 2024-08-08 17:13:01 +08:00
Wenjie Zhang
4a429d666a 最小化依赖 2024-08-08 17:10:41 +08:00
Wenjie Zhang
6971e7e1b7 修改后端入口为 src, 运行代码不需要使用 cd src, 添加前端查看检索结果 2024-07-28 16:16:52 +08:00
Wenjie Zhang
86e8910eee update 2024-07-17 18:52:20 +08:00
QiyiJiang
df7a511001 graphbase_init 2024-07-15 10:58:34 +00:00
QiyiJiang
30be5efd3a jsonl 格式 2024-07-14 13:29:58 +00:00
QiyiJiang
812ad2cbd8 kg 修改 2024-07-14 13:04:00 +00:00
Wenjie Zhang
39e7e76e58 oneke update [未验证] 2024-07-14 18:31:23 +08:00
QiyiJiang
f7132e321f ocr and kg 2024-07-14 08:56:11 +00:00
Wenjie Zhang
9cec978383 add plugin oneke 2024-07-10 12:57:04 +08:00