kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
699 Commits 12 Branches 0 Tags 71 MiB
3960db2d5b
Commit Graph

288 Commits

Author SHA1 Message Date
Wenjie Zhang
612bd9f7b0 refactor(graph): 重构知识图谱查询和格式化逻辑 
- 修改查询方法以支持不同返回格式(graph/triples)
- 移除不再使用的格式化方法和废弃查询方法
- 优化节点和关系的查询性能及结果处理
- 更新相关API端点以直接返回原始查询结果
 2025-07-30 10:50:06 +08:00
Wenjie Zhang
007e6aeb1f fix(graph): 改进图数据库查询逻辑和错误处理 
修复图数据库查询时的错误处理，添加完整的traceback信息
重构查询逻辑，分离向量查询和模糊查询方法
更新README文档说明知识图谱的限制和使用方法
确保查询只针对带有Entity标签的节点
添加数据库状态检查断言
 2025-07-29 16:30:47 +08:00
Wenjie Zhang
b4439996fa refactor(knowledge): 重构文件处理逻辑并提取到独立模块 
将文件处理和URL处理逻辑从KnowledgeBase类提取到独立的indexing模块
更新模型配置和README，添加新的API Key获取链接
优化日志输出格式并添加新的文件预处理脚本
 2025-07-29 12:58:13 +08:00
Wenjie Zhang
24f4ffa73e feat(knowledge_base): 添加对CSV、Excel和JSON文件的支持 
添加处理CSV、Excel和JSON文件的逻辑，将其内容转换为Markdown格式。使用pandas库处理表格数据，json库处理JSON数据，增强知识库的文件兼容性。
 2025-07-29 00:29:41 +08:00
Wenjie Zhang
f847c7f340 docs: 更新文档内容并添加相关图片 
- 添加多个文档图片用于功能展示
- 更新README文档内容，优化描述和结构
- 更新changelog添加新任务和修复问题
- 修改docker镜像配置，更新基础镜像版本
 2025-07-28 16:26:01 +08:00
Wenjie Zhang
04f6cb5a79 feat(milvus_kb): 优化文件删除逻辑，增加文件存在性检查 2025-07-27 13:02:57 +08:00
Wenjie Zhang
b403d8dd90 chore(dependencies): 更新mineru依赖为mineru[core]，简化文档解析逻辑 2025-07-27 12:04:44 +08:00
Wenjie Zhang
cf3cb5ef33 feat(ocr): 增强OCR处理功能，支持图像解析和参数传递，优化Docker环境变量配置 2025-07-27 04:12:49 +08:00
Wenjie Zhang
b9fdd74889 feat(knowledge_base): 按创建时间倒序排序文件列表，优化文件记录管理逻辑 2025-07-27 02:55:49 +08:00
Wenjie Zhang
4f8e1e19e1 feat(batch_upload): 添加批量上传和处理文件功能，支持文件记录管理，优化API交互和错误处理逻辑(并发访问Milvus） 2025-07-27 01:02:14 +08:00
Wenjie Zhang
7d4722b62c feat: 更新知识库相关配置 
- 实现QA数据
- 优化现在创建知识库的体验
- 优化文件处理与加载方法
- 整体的格式检查与优化
- 优化 Embedding model 的加载逻辑，修复并行问题
- 优化整体的颜色布局
- 移除未使用的接口（前后端）
- 优化知识库的 chunk 逻辑
- 添加新的 Embedding模型支持
- 修复新建知识库后，Agent无法reload的问题
 2025-07-26 03:36:54 +08:00
Wenjie Zhang
9f5924b8e6 refactor(agent): 移除不必要的要求检查，简化 BaseAgent 初始化逻辑；更新工具注册逻辑，添加获取可运行工具信息的功能；重构聊天 API，优化代码结构和可读性。 2025-07-24 00:46:15 +08:00
Wenjie Zhang
75c52a3855 feat(router): 添加工具路由，更新聊天和智能体相关功能，优化工具获取逻辑 2025-07-24 00:45:47 +08:00
Wenjie Zhang
770d098f05 refactor(database): 文件结构优化，顺便修复了 chroma 的 embedding 错误 2025-07-23 19:21:45 +08:00
Wenjie Zhang
b434c39182 feat(lightrag): 添加环境变量配置以支持动态选择 LLM 提供者和名称，优化 LLM 函数获取逻辑 2025-07-23 12:55:02 +08:00
Wenjie Zhang
50931b0456 update deepresearch 2025-07-22 22:16:34 +08:00
Wenjie Zhang
9d58ebc13c refactor(agent): 将智能体相关的名称参数更改为ID，优化智能体管理逻辑 2025-07-22 17:30:00 +08:00
Wenjie Zhang
9d9101a3e5 refactor(router): 更新系统路由 2025-07-22 17:29:38 +08:00
Wenjie Zhang
44b6dfdbc0 feat: 更新依赖项，添加新的配置字段，优化智能体管理和视图组件 2025-07-22 04:12:55 +08:00
Wenjie Zhang
d50399f217 feat: 移除无关文件，并添加 paddlex cli 的脚本 2025-07-22 00:23:08 +08:00
Wenjie Zhang
d9a796aec1 docs: 更新 README 文档等 2025-07-21 19:48:15 +08:00
Wenjie Zhang
84039ae474 feat: 添加OCR服务健康检查和统计功能，优化PDF解析逻辑，增强错误处理机制 2025-07-21 19:25:07 +08:00
Wenjie Zhang
14d95ce64c
feat: 知识库更新，支持Milvus、Chroma、Lightrag类型的知识库 (#223) 2025-07-21 18:18:47 +08:00
Wenjie Zhang
f463f80386 fix: 部分场景下 env 不生效的 bug 2025-07-21 13:10:15 +08:00
Wenjie Zhang
5ed016298c feat: 更新 Docker 配置，添加 Milvus 令牌支持，优化健康检查命令，移除 PostgreSQL 配置，调整环境变量，增强系统稳定性 2025-07-18 11:29:12 +08:00
Wenjie Zhang
9a162d5197 feat: 更新环境模板，添加知识图谱模型名称配置；重构工具工厂，移除冗余代码并优化工具注册逻辑；增强图数据库类，添加数据库连接检查和嵌入模型获取功能；调整设置视图，移除不必要的开关和选择项 2025-07-02 02:58:13 +08:00
Wenjie Zhang
6810f1f84e feat: 在依赖组中添加 ruff 依赖，并优化代码中的类型提示和异常处理，提升代码可读性和稳定性 2025-07-02 02:38:36 +08:00
Wenjie Zhang
9233ba64fb refactor(lightrag): 优化Python类型提示以及代码稳健型 2025-07-01 13:26:17 +08:00
Wenjie Zhang
c89ba37617 style: 优化部分细节样式 2025-06-29 15:43:40 +08:00
Wenjie Zhang
7b846ff76b fix: 更新数据库路径和日志配置，确保兼容性和可维护性 2025-06-28 20:19:26 +08:00
Wenjie Zhang
a91d57f274 fix: 更新嵌入模型配置，修复相关信息获取逻辑 
- 修改数据路由器中的嵌入模型信息获取方式，确保使用正确的配置项。
- 在 LightRagBasedKB 类中，增强 LLM 和嵌入函数的获取逻辑，支持动态配置。
- 更新嵌入模型和重排序模型的 URL 获取方式，统一为 base_url。
- 前端数据库视图中，调整嵌入模型选择的样式和信息展示，提升用户体验。
 2025-06-27 12:22:35 +08:00
Wenjie Zhang
30163baed4 feat: !important 讲知识库的后端修改为 LightRAG 添加 PostgreSQL 支持和环境变量配置 
- 在 docker-compose.yml 中新增 PostgreSQL 服务配置，包括健康检查和环境变量设置。
- 添加 PostgreSQL 初始化脚本，确保数据库和用户的创建及权限配置。
- 更新 pyproject.toml，新增 asyncpg 和 graspologic 依赖。
- 重构知识库管理逻辑，使用 LightRagBasedKB 替代原有 KnowledgeBase 类，优化知识库的管理和查询功能。
- 更新前端 API 接口，调整文件处理和数据库创建逻辑，支持新的嵌入模型配置。
 2025-06-27 01:55:04 +08:00
Wenjie Zhang
9bc5b086f9 chore: 移除 Chat 、Retriever 相关代码，知识库与知识图谱默认开启且无法修改 
- 删除 retriever.py 文件，移除不再使用的检索器逻辑。
- 更新 base_router.py，简化重启逻辑，移除 retriever.restart() 调用。
- 修改 config.py，移除知识库和知识图谱的配置项。
- 更新前端组件，调整与知识库相关的显示逻辑，确保界面一致性。
- 修改路由配置，移除与聊天相关的路由，优化用户导航体验。
 2025-06-27 01:52:59 +08:00
Wenjie Zhang
a9b5e84618 feat: 添加异步工具支持，优化工具检索和 LLM 调用逻辑 
- 在 tools_factory.py 中引入异步检索器包装函数，确保异步工具的正确处理。
- 更新 ChatbotAgent 类的 llm_call 方法为异步版本，以支持异步工具调用。
 2025-06-27 01:49:31 +08:00
Wenjie Zhang
db38035577 chore: 移除不再使用的脚本和优化日志信息 
- 删除了 download_models.sh 和 migrate_kb_to_sqlite.py 脚本，清理不必要的代码。
- 在 base_router.py 中更新日志信息，调整为英文以提高可读性。
- 移除 retriever.restart() 调用，简化重启逻辑。
- 优化 OCRPlugin 中的注释，去除冗余代码。
 2025-06-27 01:47:52 +08:00
Wenjie Zhang
57299fda8d chore: 更新配置文件和日志路径 
- 在 docker-compose.yml 中新增测试目录挂载。
- 修改 __init__.py 文件，更新配置文件路径以使用 save_dir 变量。
- 更新 logging_config.py 文件，调整日志文件路径至 tmp/logs，并确保相应目录存在。
- 移动 test/test_neo4j.py 文件
 2025-06-26 02:13:46 +08:00
Wenjie Zhang
4afbb42f96 feat: 添加自动索引功能，优化文件处理流程 
- 在知识库中新增自动索引参数，支持在文件处理后自动触发索引。
- 更新前端界面，允许用户配置自动索引选项，并在处理结果中反馈索引状态。
- 调整定时器刷新间隔，提高数据库信息更新的实时性。
 2025-06-25 02:45:57 +08:00
Wenjie Zhang
5000afc3ca feat: 更新模型服务脚本和配置，支持 Qwen3 系列模型 
- 修改 run.sh 脚本，新增对 Qwen3-32B、Qwen3-Embedding-0.6B 和 Qwen3-Reranker-0.6B 模型的支持。
- 更新 rerank_model.py，优化 API URL 获取逻辑，使用 get_docker_safe_url 函数。
- 在 models.yaml 中添加 Qwen3 系列模型的配置信息，包括名称、维度和 API 密钥。
 2025-06-25 02:12:19 +08:00
Wenjie Zhang
cfb6700dcf refactor: 优化知识库获取逻辑，提升性能和数据处理效率 
- 修改 get_all_databases 方法，避免预加载文件数据，直接构造返回数据，减少查询时间。
- 批量获取集合信息，减少对 Milvus 的单独查询，提高数据获取效率。
 2025-06-24 16:02:56 +08:00
Wenjie Zhang
04aaa2e55f feat: 添加 indexing 的队列机制，当遇到高并发处理的时候不会出现显存资源不够的情况 2025-06-24 15:43:39 +08:00
Wenjie Zhang
b87f2f2e02 fix: 修复获取知识库信息加载时间过久的问题 2025-06-24 15:42:59 +08:00
Wenjie Zhang
3e64a4249b feat: 更新文件索引状态处理逻辑 
- 在 knowledgebase.py 中将文件索引失败时的状态更新为 "pending_indexing"。
- 在 DataBaseInfoView.vue 中调整条件判断，允许在文件状态为 "pending_indexing" 或 "failed" 时显示操作按钮。
 2025-06-24 00:14:34 +08:00
Wenjie Zhang
c90e2e0b26 feat: 移除零一万物模型支持并更新相关文档和配置 
- 从 README.md 和 .env.template 中移除 LINGYIWANWU_API_KEY 相关内容。
- 更新 select_model 函数以支持 dashscope 和 deepseek 模型提供者的逻辑。
- 修改模型配置文件，更新 dashscope 的默认模型和相关信息。
- 移除与零一万物相关的图标和配置，简化模型选择逻辑。
 2025-06-24 00:14:12 +08:00
Wenjie Zhang
fd7cd8cf25 feat: 更新工具工厂和聊天机器人逻辑，增强前端多选组件 
- 在 tools_factory.py 中修改工具名称生成逻辑，确保兼容 Deepseek 的要求。
- 在 graph.py 中优化聊天模型与工具的绑定逻辑，增加条件判断以提高灵活性。
- 在 AgentView.vue 中新增环境变量显示部分，增强用户界面，添加多选卡片组件以改善选项选择体验。
- 更新样式以支持多选卡片的响应式设计，提升整体用户体验。
 2025-06-24 00:13:11 +08:00
Wenjie Zhang
286e06f25b style: ruff check fix 2025-06-23 10:32:01 +08:00
Wenjie Zhang
eeb53f4774 feat: 添加 PaddleX OCR 支持及示例更新 
- 在 example_usage.py 中更新分析文档的示例，使用新的 PaddleX OCR 服务。
- 在 data_router.py 中优化文件处理反馈信息，增加处理失败文件的统计。
- 在 indexing.py 中新增对 PaddleX OCR 的支持。
- 在 _ocr.py 中添加 process_pdf_paddlex 方法，集成 PaddleX OCR 处理逻辑。
- 新增 paddlex.py 文件，封装 PaddleX 版面解析服务的 API 调用。
- 更新前端 DataBaseInfoView.vue，增加 PaddleX OCR 选项。
- 新增测试文件 PixPin_2025-06-19_23-42-17.png 以支持 OCR 测试。
 2025-06-23 10:09:51 +08:00
Wenjie Zhang
4ecf9a8cd6 feat: 添加系统信息配置功能 
- 在 API 路由中新增获取和重新加载系统信息配置的接口。
- 实现信息配置的加载逻辑，并提供默认配置。
- 更新前端以支持动态加载和展示信息配置。
- 修改 Dockerfile，移除代理设置。
 2025-06-22 23:07:57 +08:00
Wenjie Zhang
6671c920c3 refactor: 更新 Docker 配置，优化服务连接和健康检查 2025-06-20 17:32:49 +08:00
Wenjie Zhang
c6ab72cd5b refactor: 项目配置重构及 OCR 功能增强 
- 更新 .gitignore，忽略本地文件。
- 调整 docker-compose.yml，优化服务配置及端口设置。
- api.Dockerfile 更换为基于 NVIDIA CUDA 的镜像，支持 GPU。
- pyproject.toml 新增依赖 langchain-tavily，并升级 mineru。
- tools_factory.py 重构，采用 langchain_tavily 的 TavilySearch。
- knowledgebase.py 增强 Milvus 连接异常的错误日志。
- _ocr.py 中 OCRPlugin 升级，使用 mineru 新解析方法，并调整健康检查 URL。
- 新增 mineru.py，实现文档解析逻辑。
- logging_config.py 优化日志配置，采用 loguru 管理日志。
- DataBaseInfoView.vue 新增分块参数配置及文件上传相关弹窗和功能。
 2025-06-18 19:07:29 +08:00
Wenjie Zhang
22c473d370 fix: 重命名查询参数为 query_text 2025-06-16 23:07:28 +08:00