Commit Graph

25 Commits

Author SHA1 Message Date
Wenjie Zhang
db38035577 chore: 移除不再使用的脚本和优化日志信息
- 删除了 download_models.sh 和 migrate_kb_to_sqlite.py 脚本,清理不必要的代码。
- 在 base_router.py 中更新日志信息,调整为英文以提高可读性。
- 移除 retriever.restart() 调用,简化重启逻辑。
- 优化 OCRPlugin 中的注释,去除冗余代码。
2025-06-27 01:47:52 +08:00
Wenjie Zhang
286e06f25b style: ruff check fix 2025-06-23 10:32:01 +08:00
Wenjie Zhang
eeb53f4774 feat: 添加 PaddleX OCR 支持及示例更新
- 在 example_usage.py 中更新分析文档的示例,使用新的 PaddleX OCR 服务。
- 在 data_router.py 中优化文件处理反馈信息,增加处理失败文件的统计。
- 在 indexing.py 中新增对 PaddleX OCR 的支持。
- 在 _ocr.py 中添加 process_pdf_paddlex 方法,集成 PaddleX OCR 处理逻辑。
- 新增 paddlex.py 文件,封装 PaddleX 版面解析服务的 API 调用。
- 更新前端 DataBaseInfoView.vue,增加 PaddleX OCR 选项。
- 新增测试文件 PixPin_2025-06-19_23-42-17.png 以支持 OCR 测试。
2025-06-23 10:09:51 +08:00
Wenjie Zhang
c6ab72cd5b refactor: 项目配置重构及 OCR 功能增强
- 更新 .gitignore,忽略本地文件。
- 调整 docker-compose.yml,优化服务配置及端口设置。
- api.Dockerfile 更换为基于 NVIDIA CUDA 的镜像,支持 GPU。
- pyproject.toml 新增依赖 langchain-tavily,并升级 mineru。
- tools_factory.py 重构,采用 langchain_tavily 的 TavilySearch。
- knowledgebase.py 增强 Milvus 连接异常的错误日志。
- _ocr.py 中 OCRPlugin 升级,使用 mineru 新解析方法,并调整健康检查 URL。
- 新增 mineru.py,实现文档解析逻辑。
- logging_config.py 优化日志配置,采用 loguru 管理日志。
- DataBaseInfoView.vue 新增分块参数配置及文件上传相关弹窗和功能。
2025-06-18 19:07:29 +08:00
Wenjie Zhang
a6857c3e21 style: fix ruff check 2025-05-24 11:29:45 +08:00
Wenjie Zhang
911f88d7eb feat: 添加mineru健康检查端点并优化类型注解
- 在 app.py 中新增健康检查端点以确认 API 正在运行。
- 优化了类型注解,使用更简洁的语法。
- 在 db_manager.py 中修正了日志信息的语言。
- 在 OCR 插件中添加了对 MinerU OCR 服务健康检查的逻辑。
2025-05-23 22:16:34 +08:00
Wenjie Zhang
b0db3c6b0d feat: 更新 Docker 配置和添加 MinerU OCR 服务
- 修改了 docker-compose.yml,更新了 API 和 Web 服务的镜像名称,并添加了 MinerU OCR 服务。
- 在 pyproject.toml 中添加了 Ruff 代码检查工具的配置。
- 更新了 API 和 Web Dockerfile,添加了代理环境变量。
- 新增了用于拉取 Docker 镜像的脚本。
- 在文档中添加了关于如何使用 MinerU OCR 的说明。
- 优化了代码结构和日志记录,提升了可读性和维护性。
2025-05-23 15:30:14 +08:00
Wenjie Zhang
5ab1b5c1f1 优化加载逻辑 2025-03-14 10:08:51 +08:00
Wenjie Zhang
8132ac2e9b 更新 ocr 模型 2025-03-08 20:26:00 +08:00
Wenjie Zhang
e04add5bc2 update logger 2025-02-27 19:35:25 +08:00
Wenjie Zhang
d9e39a7a7d Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-02-20 01:26:12 +08:00
Wenjie Zhang
e968a3d9f8 fix pdf parser bug 2024-09-29 16:13:06 +08:00
Wenjie Zhang
a3a7ab034b trans cv2 to PIL 2024-09-11 01:08:37 +08:00
Wenjie Zhang
302e59c2c9 update 2024-09-09 17:07:03 +08:00
Xerrors
14d965065c Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-08-08 17:13:32 +08:00
Xerrors
32740f9979 reformat 2024-08-08 17:13:01 +08:00
Wenjie Zhang
4a429d666a 最小化依赖 2024-08-08 17:10:41 +08:00
Wenjie Zhang
6971e7e1b7 修改后端入口为 src, 运行代码不需要使用 cd src, 添加前端查看检索结果 2024-07-28 16:16:52 +08:00
Wenjie Zhang
86e8910eee update 2024-07-17 18:52:20 +08:00
QiyiJiang
df7a511001 graphbase_init 2024-07-15 10:58:34 +00:00
QiyiJiang
30be5efd3a jsonl 格式 2024-07-14 13:29:58 +00:00
QiyiJiang
812ad2cbd8 kg 修改 2024-07-14 13:04:00 +00:00
Wenjie Zhang
39e7e76e58 oneke update [未验证] 2024-07-14 18:31:23 +08:00
QiyiJiang
f7132e321f ocr and kg 2024-07-14 08:56:11 +00:00
Wenjie Zhang
9cec978383 add plugin oneke 2024-07-10 12:57:04 +08:00