kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
1,362 Commits 12 Branches 0 Tags 71 MiB
34bfc0c97e
Commit Graph

591 Commits

Author SHA1 Message Date
Wenjie Zhang
583a17b37d feat(knowledge): 添加文件处理队列管理功能 
添加文件处理队列管理功能，包括添加/移除文件到处理队列的方法
添加状态检查方法修复异常的processing状态
确保文件处理状态的一致性
 2025-08-04 20:15:39 +08:00
Wenjie Zhang
e2d0b17e5a feat(knowledge_base): 检索的内容以字典返回，同时包含 filepath 等 metadata 
将知识库的异步查询方法aquery的返回类型从字符串更改为包含字典的列表，增强了查询结果的结构化。更新了Milvus和Chroma知识库的查询逻辑，确保返回的文档块包含内容、元数据和相似度分数。同时，修复了文件路径处理逻辑，确保文件名相对路径的正确性。
 2025-08-01 17:04:37 +08:00
Wenjie Zhang
67f3af3257 docs: update document 2025-08-01 16:59:03 +08:00
Wenjie Zhang
612bd9f7b0 refactor(graph): 重构知识图谱查询和格式化逻辑 
- 修改查询方法以支持不同返回格式(graph/triples)
- 移除不再使用的格式化方法和废弃查询方法
- 优化节点和关系的查询性能及结果处理
- 更新相关API端点以直接返回原始查询结果
 2025-07-30 10:50:06 +08:00
Wenjie Zhang
007e6aeb1f fix(graph): 改进图数据库查询逻辑和错误处理 
修复图数据库查询时的错误处理，添加完整的traceback信息
重构查询逻辑，分离向量查询和模糊查询方法
更新README文档说明知识图谱的限制和使用方法
确保查询只针对带有Entity标签的节点
添加数据库状态检查断言
 2025-07-29 16:30:47 +08:00
Wenjie Zhang
b4439996fa refactor(knowledge): 重构文件处理逻辑并提取到独立模块 
将文件处理和URL处理逻辑从KnowledgeBase类提取到独立的indexing模块
更新模型配置和README，添加新的API Key获取链接
优化日志输出格式并添加新的文件预处理脚本
 2025-07-29 12:58:13 +08:00
Wenjie Zhang
24f4ffa73e feat(knowledge_base): 添加对CSV、Excel和JSON文件的支持 
添加处理CSV、Excel和JSON文件的逻辑，将其内容转换为Markdown格式。使用pandas库处理表格数据，json库处理JSON数据，增强知识库的文件兼容性。
 2025-07-29 00:29:41 +08:00
Wenjie Zhang
f847c7f340 docs: 更新文档内容并添加相关图片 
- 添加多个文档图片用于功能展示
- 更新README文档内容，优化描述和结构
- 更新changelog添加新任务和修复问题
- 修改docker镜像配置，更新基础镜像版本
 2025-07-28 16:26:01 +08:00
Wenjie Zhang
04f6cb5a79 feat(milvus_kb): 优化文件删除逻辑，增加文件存在性检查 2025-07-27 13:02:57 +08:00
Wenjie Zhang
b403d8dd90 chore(dependencies): 更新mineru依赖为mineru[core]，简化文档解析逻辑 2025-07-27 12:04:44 +08:00
Wenjie Zhang
cf3cb5ef33 feat(ocr): 增强OCR处理功能，支持图像解析和参数传递，优化Docker环境变量配置 2025-07-27 04:12:49 +08:00
Wenjie Zhang
b9fdd74889 feat(knowledge_base): 按创建时间倒序排序文件列表，优化文件记录管理逻辑 2025-07-27 02:55:49 +08:00
Wenjie Zhang
4f8e1e19e1 feat(batch_upload): 添加批量上传和处理文件功能，支持文件记录管理，优化API交互和错误处理逻辑(并发访问Milvus） 2025-07-27 01:02:14 +08:00
Wenjie Zhang
7d4722b62c feat: 更新知识库相关配置 
- 实现QA数据
- 优化现在创建知识库的体验
- 优化文件处理与加载方法
- 整体的格式检查与优化
- 优化 Embedding model 的加载逻辑，修复并行问题
- 优化整体的颜色布局
- 移除未使用的接口（前后端）
- 优化知识库的 chunk 逻辑
- 添加新的 Embedding模型支持
- 修复新建知识库后，Agent无法reload的问题
 2025-07-26 03:36:54 +08:00
Wenjie Zhang
9f5924b8e6 refactor(agent): 移除不必要的要求检查，简化 BaseAgent 初始化逻辑；更新工具注册逻辑，添加获取可运行工具信息的功能；重构聊天 API，优化代码结构和可读性。 2025-07-24 00:46:15 +08:00
Wenjie Zhang
75c52a3855 feat(router): 添加工具路由，更新聊天和智能体相关功能，优化工具获取逻辑 2025-07-24 00:45:47 +08:00
Wenjie Zhang
770d098f05 refactor(database): 文件结构优化，顺便修复了 chroma 的 embedding 错误 2025-07-23 19:21:45 +08:00
Wenjie Zhang
b434c39182 feat(lightrag): 添加环境变量配置以支持动态选择 LLM 提供者和名称，优化 LLM 函数获取逻辑 2025-07-23 12:55:02 +08:00
Wenjie Zhang
50931b0456 update deepresearch 2025-07-22 22:16:34 +08:00
Wenjie Zhang
9d58ebc13c refactor(agent): 将智能体相关的名称参数更改为ID，优化智能体管理逻辑 2025-07-22 17:30:00 +08:00
Wenjie Zhang
9d9101a3e5 refactor(router): 更新系统路由 2025-07-22 17:29:38 +08:00
Wenjie Zhang
44b6dfdbc0 feat: 更新依赖项，添加新的配置字段，优化智能体管理和视图组件 2025-07-22 04:12:55 +08:00
Wenjie Zhang
d50399f217 feat: 移除无关文件，并添加 paddlex cli 的脚本 2025-07-22 00:23:08 +08:00
Wenjie Zhang
d9a796aec1 docs: 更新 README 文档等 2025-07-21 19:48:15 +08:00
Wenjie Zhang
84039ae474 feat: 添加OCR服务健康检查和统计功能，优化PDF解析逻辑，增强错误处理机制 2025-07-21 19:25:07 +08:00
Wenjie Zhang
14d95ce64c
feat: 知识库更新，支持Milvus、Chroma、Lightrag类型的知识库 (#223) 2025-07-21 18:18:47 +08:00
Wenjie Zhang
f463f80386 fix: 部分场景下 env 不生效的 bug 2025-07-21 13:10:15 +08:00
Wenjie Zhang
5ed016298c feat: 更新 Docker 配置，添加 Milvus 令牌支持，优化健康检查命令，移除 PostgreSQL 配置，调整环境变量，增强系统稳定性 2025-07-18 11:29:12 +08:00
Wenjie Zhang
9a162d5197 feat: 更新环境模板，添加知识图谱模型名称配置；重构工具工厂，移除冗余代码并优化工具注册逻辑；增强图数据库类，添加数据库连接检查和嵌入模型获取功能；调整设置视图，移除不必要的开关和选择项 2025-07-02 02:58:13 +08:00
Wenjie Zhang
6810f1f84e feat: 在依赖组中添加 ruff 依赖，并优化代码中的类型提示和异常处理，提升代码可读性和稳定性 2025-07-02 02:38:36 +08:00
Wenjie Zhang
9233ba64fb refactor(lightrag): 优化Python类型提示以及代码稳健型 2025-07-01 13:26:17 +08:00
Wenjie Zhang
c89ba37617 style: 优化部分细节样式 2025-06-29 15:43:40 +08:00
Wenjie Zhang
7b846ff76b fix: 更新数据库路径和日志配置，确保兼容性和可维护性 2025-06-28 20:19:26 +08:00
Wenjie Zhang
a91d57f274 fix: 更新嵌入模型配置，修复相关信息获取逻辑 
- 修改数据路由器中的嵌入模型信息获取方式，确保使用正确的配置项。
- 在 LightRagBasedKB 类中，增强 LLM 和嵌入函数的获取逻辑，支持动态配置。
- 更新嵌入模型和重排序模型的 URL 获取方式，统一为 base_url。
- 前端数据库视图中，调整嵌入模型选择的样式和信息展示，提升用户体验。
 2025-06-27 12:22:35 +08:00
Wenjie Zhang
30163baed4 feat: !important 讲知识库的后端修改为 LightRAG 添加 PostgreSQL 支持和环境变量配置 
- 在 docker-compose.yml 中新增 PostgreSQL 服务配置，包括健康检查和环境变量设置。
- 添加 PostgreSQL 初始化脚本，确保数据库和用户的创建及权限配置。
- 更新 pyproject.toml，新增 asyncpg 和 graspologic 依赖。
- 重构知识库管理逻辑，使用 LightRagBasedKB 替代原有 KnowledgeBase 类，优化知识库的管理和查询功能。
- 更新前端 API 接口，调整文件处理和数据库创建逻辑，支持新的嵌入模型配置。
 2025-06-27 01:55:04 +08:00
Wenjie Zhang
9bc5b086f9 chore: 移除 Chat 、Retriever 相关代码，知识库与知识图谱默认开启且无法修改 
- 删除 retriever.py 文件，移除不再使用的检索器逻辑。
- 更新 base_router.py，简化重启逻辑，移除 retriever.restart() 调用。
- 修改 config.py，移除知识库和知识图谱的配置项。
- 更新前端组件，调整与知识库相关的显示逻辑，确保界面一致性。
- 修改路由配置，移除与聊天相关的路由，优化用户导航体验。
 2025-06-27 01:52:59 +08:00
Wenjie Zhang
a9b5e84618 feat: 添加异步工具支持，优化工具检索和 LLM 调用逻辑 
- 在 tools_factory.py 中引入异步检索器包装函数，确保异步工具的正确处理。
- 更新 ChatbotAgent 类的 llm_call 方法为异步版本，以支持异步工具调用。
 2025-06-27 01:49:31 +08:00
Wenjie Zhang
db38035577 chore: 移除不再使用的脚本和优化日志信息 
- 删除了 download_models.sh 和 migrate_kb_to_sqlite.py 脚本，清理不必要的代码。
- 在 base_router.py 中更新日志信息，调整为英文以提高可读性。
- 移除 retriever.restart() 调用，简化重启逻辑。
- 优化 OCRPlugin 中的注释，去除冗余代码。
 2025-06-27 01:47:52 +08:00
Wenjie Zhang
57299fda8d chore: 更新配置文件和日志路径 
- 在 docker-compose.yml 中新增测试目录挂载。
- 修改 __init__.py 文件，更新配置文件路径以使用 save_dir 变量。
- 更新 logging_config.py 文件，调整日志文件路径至 tmp/logs，并确保相应目录存在。
- 移动 test/test_neo4j.py 文件
 2025-06-26 02:13:46 +08:00
Wenjie Zhang
4afbb42f96 feat: 添加自动索引功能，优化文件处理流程 
- 在知识库中新增自动索引参数，支持在文件处理后自动触发索引。
- 更新前端界面，允许用户配置自动索引选项，并在处理结果中反馈索引状态。
- 调整定时器刷新间隔，提高数据库信息更新的实时性。
 2025-06-25 02:45:57 +08:00
Wenjie Zhang
5000afc3ca feat: 更新模型服务脚本和配置，支持 Qwen3 系列模型 
- 修改 run.sh 脚本，新增对 Qwen3-32B、Qwen3-Embedding-0.6B 和 Qwen3-Reranker-0.6B 模型的支持。
- 更新 rerank_model.py，优化 API URL 获取逻辑，使用 get_docker_safe_url 函数。
- 在 models.yaml 中添加 Qwen3 系列模型的配置信息，包括名称、维度和 API 密钥。
 2025-06-25 02:12:19 +08:00
Wenjie Zhang
cfb6700dcf refactor: 优化知识库获取逻辑，提升性能和数据处理效率 
- 修改 get_all_databases 方法，避免预加载文件数据，直接构造返回数据，减少查询时间。
- 批量获取集合信息，减少对 Milvus 的单独查询，提高数据获取效率。
 2025-06-24 16:02:56 +08:00
Wenjie Zhang
04aaa2e55f feat: 添加 indexing 的队列机制，当遇到高并发处理的时候不会出现显存资源不够的情况 2025-06-24 15:43:39 +08:00
Wenjie Zhang
b87f2f2e02 fix: 修复获取知识库信息加载时间过久的问题 2025-06-24 15:42:59 +08:00
Wenjie Zhang
3e64a4249b feat: 更新文件索引状态处理逻辑 
- 在 knowledgebase.py 中将文件索引失败时的状态更新为 "pending_indexing"。
- 在 DataBaseInfoView.vue 中调整条件判断，允许在文件状态为 "pending_indexing" 或 "failed" 时显示操作按钮。
 2025-06-24 00:14:34 +08:00
Wenjie Zhang
c90e2e0b26 feat: 移除零一万物模型支持并更新相关文档和配置 
- 从 README.md 和 .env.template 中移除 LINGYIWANWU_API_KEY 相关内容。
- 更新 select_model 函数以支持 dashscope 和 deepseek 模型提供者的逻辑。
- 修改模型配置文件，更新 dashscope 的默认模型和相关信息。
- 移除与零一万物相关的图标和配置，简化模型选择逻辑。
 2025-06-24 00:14:12 +08:00
Wenjie Zhang
fd7cd8cf25 feat: 更新工具工厂和聊天机器人逻辑，增强前端多选组件 
- 在 tools_factory.py 中修改工具名称生成逻辑，确保兼容 Deepseek 的要求。
- 在 graph.py 中优化聊天模型与工具的绑定逻辑，增加条件判断以提高灵活性。
- 在 AgentView.vue 中新增环境变量显示部分，增强用户界面，添加多选卡片组件以改善选项选择体验。
- 更新样式以支持多选卡片的响应式设计，提升整体用户体验。
 2025-06-24 00:13:11 +08:00
Wenjie Zhang
286e06f25b style: ruff check fix 2025-06-23 10:32:01 +08:00
Wenjie Zhang
eeb53f4774 feat: 添加 PaddleX OCR 支持及示例更新 
- 在 example_usage.py 中更新分析文档的示例，使用新的 PaddleX OCR 服务。
- 在 data_router.py 中优化文件处理反馈信息，增加处理失败文件的统计。
- 在 indexing.py 中新增对 PaddleX OCR 的支持。
- 在 _ocr.py 中添加 process_pdf_paddlex 方法，集成 PaddleX OCR 处理逻辑。
- 新增 paddlex.py 文件，封装 PaddleX 版面解析服务的 API 调用。
- 更新前端 DataBaseInfoView.vue，增加 PaddleX OCR 选项。
- 新增测试文件 PixPin_2025-06-19_23-42-17.png 以支持 OCR 测试。
 2025-06-23 10:09:51 +08:00
Wenjie Zhang
4ecf9a8cd6 feat: 添加系统信息配置功能 
- 在 API 路由中新增获取和重新加载系统信息配置的接口。
- 实现信息配置的加载逻辑，并提供默认配置。
- 更新前端以支持动态加载和展示信息配置。
- 修改 Dockerfile，移除代理设置。
 2025-06-22 23:07:57 +08:00
Wenjie Zhang
6671c920c3 refactor: 更新 Docker 配置，优化服务连接和健康检查 2025-06-20 17:32:49 +08:00
Wenjie Zhang
c6ab72cd5b refactor: 项目配置重构及 OCR 功能增强 
- 更新 .gitignore，忽略本地文件。
- 调整 docker-compose.yml，优化服务配置及端口设置。
- api.Dockerfile 更换为基于 NVIDIA CUDA 的镜像，支持 GPU。
- pyproject.toml 新增依赖 langchain-tavily，并升级 mineru。
- tools_factory.py 重构，采用 langchain_tavily 的 TavilySearch。
- knowledgebase.py 增强 Milvus 连接异常的错误日志。
- _ocr.py 中 OCRPlugin 升级，使用 mineru 新解析方法，并调整健康检查 URL。
- 新增 mineru.py，实现文档解析逻辑。
- logging_config.py 优化日志配置，采用 loguru 管理日志。
- DataBaseInfoView.vue 新增分块参数配置及文件上传相关弹窗和功能。
 2025-06-18 19:07:29 +08:00
Wenjie Zhang
22c473d370 fix: 重命名查询参数为 query_text 2025-06-16 23:07:28 +08:00
Wenjie Zhang
589894720c feat: 添加标记等待状态文件为失败的功能 2025-05-27 11:14:48 +08:00
Wenjie Zhang
b10edefe17 feat: 优化知识库和文件展示逻辑 
- 更新了 KnowledgeDatabase 和 KnowledgeFile 的 to_dict 方法，支持选择性加载节点信息。
- 在 KnowledgeBase 中调整了数据库获取逻辑，确保在获取数据库时不加载文件节点。
- 在前端组件中添加了加载状态指示，改善了用户体验。
- 增强了数据库信息视图的交互性，支持批量索引和删除文件功能。
 2025-05-26 20:39:31 +08:00
Wenjie Zhang
9d2604801d feat: 优化知识库和文件详情展示 
- 在知识库中简化了文件加载逻辑，移除了不必要的节点加载。
- 将文件详情展示从抽屉组件改为模态框，增强用户体验。
- 添加了加载状态指示，改善了文件详情的展示效果。
- 新增分页功能，提升了文件列表的可用性。
 2025-05-26 13:59:05 +08:00
Wenjie Zhang
d9802414f1 feat: 更新依赖和优化数据处理接口 
-  优化了数据路由器中的文件和 URL 分块处理逻辑，增加了错误处理和日志记录。
- 更新了前端 API 接口以支持新的文件索引流程，移除了过时的接口。
 2025-05-26 13:12:17 +08:00
Wenjie Zhang
a6857c3e21 style: fix ruff check 2025-05-24 11:29:45 +08:00
Wenjie Zhang
911f88d7eb feat: 添加mineru健康检查端点并优化类型注解 
- 在 app.py 中新增健康检查端点以确认 API 正在运行。
- 优化了类型注解，使用更简洁的语法。
- 在 db_manager.py 中修正了日志信息的语言。
- 在 OCR 插件中添加了对 MinerU OCR 服务健康检查的逻辑。
 2025-05-23 22:16:34 +08:00
Wenjie Zhang
b0db3c6b0d feat: 更新 Docker 配置和添加 MinerU OCR 服务 
- 修改了 docker-compose.yml，更新了 API 和 Web 服务的镜像名称，并添加了 MinerU OCR 服务。
- 在 pyproject.toml 中添加了 Ruff 代码检查工具的配置。
- 更新了 API 和 Web Dockerfile，添加了代理环境变量。
- 新增了用于拉取 Docker 镜像的脚本。
- 在文档中添加了关于如何使用 MinerU OCR 的说明。
- 优化了代码结构和日志记录，提升了可读性和维护性。
 2025-05-23 15:30:14 +08:00
Wenjie Zhang
6475170c4b refactor: 重构智能体管理和基础代理类 
- 将 AgentManager 类中的方法重命名为更具描述性的名称，并优化了代理的注册和实例化逻辑。
- 添加了线程ID和用户ID字段到基础代理类，并改进了获取历史消息的逻辑，增加了错误处理。
- 在 ChatbotAgent 中确保创建图时设置 checkpointer，并处理可能的异常。
 2025-05-20 22:21:51 +08:00
Wenjie Zhang
44fad724bf feat: 更新依赖并优化组件 
- 在 pyproject.toml 中添加了 colorlog、langchain-deepseek 和 langchain-together 依赖。
- 修改了 chat_router.py 中的日志记录方式。
- 重命名 tools_factory.py 中的函数以更好地描述其功能。
- 更新了配置文件以支持新的模型选择。
- 优化了前端组件的样式和功能，包括侧边栏和消息输入框的交互体验。
 2025-05-20 20:49:50 +08:00
Wenjie Zhang
9429a819ee refactor: 合并database数据库和server数据库 
- 同时合并管理器，将事务相关的内容修改到knowledgebase中
- 添加数据库迁移的检测脚本
 2025-05-17 23:36:01 +08:00
Wenjie Zhang
8c8abdc06b fix: 修复工具调用问题 2025-05-17 10:06:56 +08:00
Wenjie Zhang
77ce5a25da feat: Agent 消息保存在SQLite 中 2025-05-16 23:46:25 +08:00
Wenjie Zhang
548b018501 perf 暂时屏蔽ReActAgent 2025-05-15 23:17:22 +08:00
Wenjie Zhang
a292e69b22 feat: 添加消息记录云端保存 
主要修改：
1. 服务端新增 Thread 模型，用于存储对话列表信息，但不保存实际的历史记录
2. langgraph 配置了 InMemorySaver，添加 thread_id 参数，消息对话保存在内存中（服务重启后丢失）
3. 添加获取历史记录的 API 接口，从内存中获取
4. 添加 Graph 的单例模式，get_runnable_agent 导致的重复创建 Agent 实例的情况。
5. 优化 Agent 管理页面，更容易配置，更容易调试
6. 添加独立页面的侧边栏。
 2025-05-15 22:37:50 +08:00
Wenjie Zhang
b01abfcf71 feat: Agent配置可以同步在用户侧了，用户侧会使用 config file 中的配置 2025-05-13 19:49:54 +08:00
Wenjie Zhang
8a6664758e 添加 知识库信息更新方法，支持修改标题和描述 2025-05-10 10:53:15 +08:00
Wenjie Zhang
ea40fa4d1b 优化改写逻辑，默认启用改写查询 2025-05-10 10:53:15 +08:00
Wenjie Zhang
144632b703 进一步优化并行处理能力：file-to-chunk 部分优化完成 2025-05-10 10:53:15 +08:00
Wenjie Zhang
ab809f748f 优化本地 embedding 的GPU 处理问题，添加 GPU 部署映射 2025-05-10 10:53:15 +08:00
Wenjie Zhang
7449938775 支持使用URL添加到知识库； 2025-05-10 10:53:14 +08:00
Wenjie Zhang
044de7e8fd 修复system prompt 对于 DeepSeek 接口要求 system prompt 必须在第一个的 bug 2025-05-10 10:53:14 +08:00
Wenjie Zhang
67a15229f4 优化配置更新方法 2025-05-10 10:53:14 +08:00
Wenjie Zhang
a454389f6e 继续优化接口，移除无关模块：（1）移除原本的 Token 管理模块；（2）所有 API 请求使用 /api 前缀；（3）移除重复的中间件验证；（4）前后端都移除工具模块；（5）移除原本的 safe_config 模块；（6）其他小细节优化 2025-05-10 10:53:14 +08:00
Wenjie Zhang
9fdc6a6b77 基本权限控制功能实现 2025-05-10 10:53:14 +08:00
Wenjie Zhang
c36d504a5c env update 2025-05-10 10:52:26 +08:00
Wenjie Zhang
c4d9d06d7c add debug info when connect error 2025-05-09 14:48:32 +08:00
Wenjie Zhang
0dd1d61204 修复 model_provider_lite 的 bug 2025-05-06 22:48:16 +08:00
Wenjie Zhang
d56df04415 修复 Hit 问题 2025-04-26 23:13:48 +08:00
Wenjie Zhang
14dfe60333 新增：如果节点之前已经被索引，则跳过索引 2025-04-24 22:54:46 +08:00
Wenjie Zhang
9c61a8a436 优化embedding阶段的并行处理 2025-04-23 21:18:39 +08:00
Wenjie Zhang
04918055c9 优化一些样式预计说明文字 2025-04-15 12:39:46 +08:00
Wenjie Zhang
ce6f88b8b2 修复图谱检索结果重复的问题，同时将检索部分的逻辑代码，迁移到graphbase 里面 2025-04-15 10:49:30 +08:00
Wenjie Zhang
b7d5532e2a 优化一些错误提示 2025-04-14 00:15:30 +08:00
Wenjie Zhang
8696bf6583 add logger for loading local model 2025-04-13 23:50:19 +08:00
Wenjie Zhang
11f932d4b3 fix _models_private error 2025-04-13 23:12:55 +08:00
Wenjie Zhang
8323279ff4 修复知识图谱检索bug 2025-04-13 21:06:23 +08:00
Wenjie Zhang
26eb6d01db
Update tools_factory.py 2025-04-11 12:24:30 +08:00
Wenjie Zhang
380e7e38d6 优化知识库查询以及工具定义方法 2025-04-11 11:54:45 +08:00
Wenjie Zhang
f11f719b4e 优化重写查询 2025-04-11 11:53:37 +08:00
Wenjie Zhang
aa50f24c4f 新增openrouter的支持 2025-04-10 11:42:20 +08:00
Wenjie Zhang
2bfe284dd1 修复配置覆盖更新的bug 2025-04-10 11:41:21 +08:00
Wenjie Zhang
dd40f90e49
Merge pull request #147 from xerrors/agent-bug-fix 
Agent bug fix
 2025-04-09 12:26:37 +08:00
Wenjie Zhang
3fb11d6f9c 更新 env template 2025-04-09 12:12:55 +08:00
Wenjie Zhang
a2be4c80dd 更新关于在线搜索的描述 2025-04-09 12:05:05 +08:00
Wenjie Zhang
ede78ad390 fix agent talk bug and add some error traceback 2025-04-09 11:47:08 +08:00
Wenjie Zhang
1084d62891 只有当启用搜索的时候才会加载网络搜索 2025-04-08 00:35:29 +08:00
Wenjie Zhang
82974d9550 fix typo found by copilot 2025-04-06 20:47:45 +08:00
Wenjie Zhang
1d40da7460 添加自动获取模型列表，目前仅支持适配了 OpenAI格式的供应商，更多供应商支持中…… 2025-04-06 20:33:15 +08:00
Wenjie Zhang
693d05d808 添加自定义工具功能，给未来的 MCP 打一下基础 2025-04-05 17:27:52 +08:00
Wenjie Zhang
642b8411a7 使用数据库替代现有的 json 形式 2025-04-05 13:10:47 +08:00
Wenjie Zhang
42384236f8 Merge remote-tracking branch 'origin/main' into agent-update 2025-04-04 18:34:49 +08:00
Wenjie Zhang
f3707c34bc 重命名项目结构 2025-04-04 00:16:18 +08:00
Wenjie Zhang
b51b8de460 新增 token 验证 2025-04-03 20:45:58 +08:00
Wenjie Zhang
fbbefe0a63 server session initial 2025-04-03 16:02:14 +08:00
Wenjie Zhang
988426a5f5 优化消息展示 2025-04-02 22:20:56 +08:00
Wenjie Zhang
ff61e4cb48 超级大更新 2025-04-02 13:00:25 +08:00
Wenjie Zhang
9451b01ae9 临时保存 2025-04-02 00:00:04 +08:00
Wenjie Zhang
04ee276331 优化界面显示 2025-04-01 22:16:07 +08:00
Wenjie Zhang
2d06c59008 Merge remote-tracking branch 'origin' into agent-update 2025-04-01 18:39:10 +08:00
Wenjie Zhang
2d7c3b32d6 fix graph info error and upload error 2025-04-01 18:37:30 +08:00
Wenjie Zhang
05986a562f Merge remote-tracking branch 'origin' into agent-update 2025-04-01 00:50:25 +08:00
Wenjie Zhang
2fe4bf6363 添加获取 model list 的 API 接口 2025-04-01 00:39:54 +08:00
Wenjie Zhang
e43f1cd618 优化了一大堆：（1）添加了一个适配 LangGraph 的 graph 的类，这样可以更加方便的调试 Agent 了。（2）增加了 Agent call 的报错体验，但是前端还没有加进去。（3）移除部分无关紧要的 logger 2025-03-31 22:20:29 +08:00
Wenjie Zhang
cde6b98336 Merge branch 'main' into agent-demo 2025-03-30 20:46:26 +08:00
Wenjie Zhang
f23583f2fa 修复自定义模型的对话问题 2025-03-30 19:26:43 +08:00
Wenjie Zhang
c8facdaffb 优化对话体验 2025-03-30 11:36:03 +08:00
Wenjie Zhang
87525721e2 Merge remote-tracking branch 'origin/main' into agent-demo 2025-03-30 11:11:22 +08:00
Wenjie Zhang
3b65dee0e8
Update graphbase.py 2025-03-30 11:09:46 +08:00
Wenjie Zhang
f8ae7db31d Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-03-29 19:19:47 +08:00
Wenjie Zhang
374855f99a fix api key empty bug 2025-03-29 19:19:43 +08:00
Wenjie Zhang
27e44f26c8 多智能体调试完成 2025-03-29 19:13:56 +08:00
Wenjie Zhang
3f79018373 Merge remote-tracking branch 'origin/main' into agent-demo 2025-03-29 17:52:31 +08:00
Wenjie Zhang
549ac7c6cf 修复第一次添加自定义模型导致的问题 2025-03-29 17:46:19 +08:00
Wenjie Zhang
b1be99fabc 优化基础智能体体验 2025-03-29 17:33:09 +08:00
Wenjie Zhang
98bfa82b24 修改 Agent 配置方法 2025-03-28 11:40:46 +08:00
Wenjie Zhang
2f3a5eb968 rm debug log 2025-03-28 03:13:26 +08:00
Wenjie Zhang
06c3352eaa Agent 放在了 tools 里面 2025-03-28 00:48:33 +08:00
Wenjie Zhang
6b0ccf8d17 添加智能体页面 2025-03-25 16:28:23 +08:00
Wenjie Zhang
dbf5000ac7 update a lot 2025-03-25 05:40:07 +08:00
Wenjie Zhang
b7533a0111 create the base chatbot agent 2025-03-24 23:00:14 +08:00
Wenjie Zhang
501ac557e8 agent demo 2025-03-24 19:07:51 +08:00
Wenjie Zhang
2864acd029 修复数据库删除后，文件夹没有删除的 bug 2025-03-24 11:14:00 +08:00
Wenjie Zhang
7563c116fc 优化文档添加逻辑 2025-03-23 23:10:32 +08:00
Wenjie Zhang
cc57de2bd6 修改部分样式 2025-03-23 19:22:00 +08:00
Wenjie Zhang
f797d66128 优化上传逻辑 2025-03-20 20:31:14 +08:00
Wenjie Zhang
f1f2459d60 fix embedding bug 2025-03-20 20:11:27 +08:00
Wenjie Zhang
d26fda4053 更新了很多 
- 添加了系统提示词
- 添加了知识库的加载方式
 2025-03-20 19:51:46 +08:00
Wenjie Zhang
b46421787d 添加 traceback 2025-03-19 01:21:51 +08:00
Wenjie Zhang
5c59741848 添加日志显示 2025-03-18 04:58:20 +08:00
Wenjie Zhang
875791ef33 修复部分对比部分的BUG 2025-03-17 19:58:00 +08:00
Wenjie Zhang
75cf91e71d Merge remote-tracking branch 'origin/dev' into database 2025-03-16 13:27:08 +08:00
Wenjie Zhang
dd617c246d 优化启动项 2025-03-16 01:11:13 +08:00
Wenjie Zhang
19453bb218
Merge pull request #76 from xerrors/fix-api-key-risk 
Fix api key risk
 2025-03-15 01:49:31 +08:00
Wenjie Zhang
5ab1b5c1f1 优化加载逻辑 2025-03-14 10:08:51 +08:00
Wenjie Zhang
b7ef7fa0c2 添加获取安全API的方法 2025-03-14 03:28:53 +08:00
Wenjie Zhang
927a7abf99 优化日志 2025-03-13 21:10:32 +08:00
Wenjie Zhang
97d9f5c7c8 API_KEY 不能为空 2025-03-13 20:45:22 +08:00
Wenjie Zhang
87807953b5 1. 添加 chunk 信息 
2. 前端的chunk展示优化，默认使用 start_char_idx，如果没有则使用 id
3. 修改默认overlap为100token
 2025-03-12 21:15:04 +08:00
Wenjie Zhang
568d859826
Merge pull request #65 from xerrors/61-bugtext-type-pdf 
修复部分文档被识别为Text-lilke PDF 而导致没有触发OCR识别的问题
 2025-03-11 18:12:18 +08:00
Wenjie Zhang
914e666436 修复OCR识别问题 2025-03-11 18:10:31 +08:00
Wenjie Zhang
0af178bf91 更新模型本地配置 2025-03-11 16:26:55 +08:00
Wenjie Zhang
d1c4b0d1ff 优化日志细节 2025-03-11 14:18:48 +08:00
Wenjie Zhang
a22f4d908c 修复模型切换bug 2025-03-10 16:33:40 +08:00
Wenjie Zhang
e3fd24f383 feat: 添加 indexing nodes 2025-03-08 22:49:13 +08:00
Wenjie Zhang
8132ac2e9b 更新 ocr 模型 2025-03-08 20:26:00 +08:00
Wenjie Zhang
6fdd134e26 添加 QWQ 在 DashScope上的支持，添加provider 的ICON。删除对于 百度千帆模型的支持。 2025-03-07 12:38:39 +08:00
Wenjie Zhang
15f52bfc8f 修复　embedding　和 reranker 无法本地调用 gpu 的问题，需要安装 nvidia-container-toolkit 2025-03-07 01:05:50 +08:00
Wenjie Zhang
952841c68d 优化部分并行性能 2025-03-06 23:55:20 +08:00
Wenjie Zhang
fb15e258db 支持 ollma embedding 2025-03-04 13:49:00 +08:00
Wenjie Zhang
f52d342afb update logger config 2025-03-03 22:06:28 +08:00
Wenjie Zhang
e998102eeb 修复本地embedding模型的运行bug，添加了 batch_encode 的方法 2025-03-03 21:57:27 +08:00
Wenjie Zhang
17163a3b86 优化部分UI界面 2025-03-03 19:46:36 +08:00
Wenjie Zhang
e6f76aee9d 修复ollama 2025-02-28 14:39:03 +08:00
Wenjie Zhang
577b78821f 修复子图检索的bug 2025-02-28 02:42:21 +08:00
Wenjie Zhang
bb88a696d8 修复embedding的bug 2025-02-28 02:41:45 +08:00
Wenjie Zhang
0023107c48 图的信息的持久存储 2025-02-28 02:40:34 +08:00
Wenjie Zhang
ce783a7e9b 图的显示和上传优化 2025-02-28 02:39:47 +08:00
Wenjie Zhang
99c7ac659b 暂存 2025-02-28 00:38:59 +08:00
Wenjie Zhang
582e367f52 无关紧要的更新 2025-02-28 00:27:58 +08:00
Wenjie Zhang
c84fa50ef2 更新一些部署相关的更改 2025-02-28 00:26:57 +08:00
Wenjie Zhang
e04add5bc2 update logger 2025-02-27 19:35:25 +08:00
Wenjie Zhang
68a3ab621e 添加模型供应商：Together AI 2025-02-27 13:26:22 +08:00
Wenjie Zhang
a2e26e34c8 更新模型列表 2025-02-27 00:10:51 +08:00
Wenjie Zhang
0e3d384d4d 再次优化配置文件路径 2025-02-26 23:58:26 +08:00
Wenjie Zhang
c20ac54515 stop tracking config.dev.yaml 2025-02-25 21:38:00 +08:00
Wenjie Zhang
5f669f2646 update details 2025-02-25 21:36:00 +08:00
Wenjie Zhang
af827d5437 完善 debug 信息 2025-02-25 21:26:55 +08:00
Wenjie Zhang
becbe5864d 添加更多模型支持 2025-02-25 21:26:37 +08:00
Wenjie Zhang
a155fd97a3 优化响应逻辑 2025-02-25 14:45:49 +08:00
Wenjie Zhang
4419de18f7 优化输入表现和网页搜索结果 2025-02-24 19:43:40 +08:00
Wenjie Zhang
04d7ddb741 新增网页检索，需要配置TAVILY_API_KEY 2025-02-24 14:58:35 +08:00
Wenjie Zhang
f1ba6cd787 修改环境要求，确保在 ARM 架构的设备上也能正常使用 Docker 启动 2025-02-24 11:27:08 +08:00
Wenjie Zhang
19a8e4714e 细节优化 2025-02-23 16:39:52 +08:00
Wenjie Zhang
b2dbc17fec 修改并适配硅基流动模型 2025-02-23 16:38:56 +08:00
Wenjie Zhang
4badd193b9 Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-02-20 02:04:56 +08:00
Wenjie Zhang
d9e39a7a7d Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2025-02-20 01:26:12 +08:00
Wenjie Zhang
f1da492444 update deploy details 2025-02-19 19:59:50 +08:00
littlewwwhite
0b62cf686d bug: -- 2025-02-15 23:25:51 +08:00
littlewwwhite
31bbaa307d feat: 添加了基于 tavil的web 搜索 2025-02-15 19:31:33 +08:00
littlewwwhite
5453452452 feat: 添加了基于 tavil的web 搜索 2025-02-15 19:29:32 +08:00
Wenjie Zhang
66e18298ce 添加BGE-M3 2024-11-23 22:35:30 +08:00
Wenjie Zhang
bd679f47d6 本地模型参数修改（未测试） 2024-11-23 22:25:46 +08:00
Wenjie Zhang
6854a7812f 修复 rewrite_query 的问题 2024-11-23 20:53:51 +08:00
Wenjie Zhang
5cad89e3d4 fix embedding bug 2024-11-22 00:13:01 +08:00
Wenjie Zhang
c51c9b152d fix 2024-11-22 00:04:30 +08:00
Wenjie Zhang
6433046c0b fix model info bugs 2024-11-22 00:03:25 +08:00
Wenjie Zhang
8c26722aa9 fix graph init bugs 2024-11-21 23:50:52 +08:00
Wenjie Zhang
c6a925a4c5 fix models.yaml empty error 2024-11-21 15:07:29 +08:00
Wenjie Zhang
40f5b3dc1f 更新了一些细节 2024-11-14 20:07:49 +08:00
Wenjie Zhang
7e23545ea6
Create .env.template 2024-11-14 12:21:00 +08:00
Wenjie Zhang
aeabe769d6 优化部分视觉表现 2024-10-24 20:08:23 +08:00
Wenjie Zhang
7b021e1efc 修复自定义模型名称修改问题 2024-10-24 17:32:24 +08:00
Wenjie Zhang
f0984191ae 修复config 不同步的问题 2024-10-24 13:09:59 +08:00
Wenjie Zhang
1115bf18b2 update model details 2024-10-24 13:09:03 +08:00
Wenjie Zhang
f3ddd1d211 修复refs 获取存在问题 2024-10-23 16:24:29 +08:00
Wenjie Zhang
c533f86b3f 支持多线程 2024-10-23 16:24:09 +08:00
Wenjie Zhang
5c1dc66134 update readme 2024-10-17 16:20:48 +08:00
Wenjie Zhang
bf8580d649 优化响应逻辑以及中间状态显示 2024-10-15 00:38:24 +08:00
Wenjie Zhang
d18a0a1039 修复并发问题，修复config不更新的问题 2024-10-14 22:10:56 +08:00
Wenjie Zhang
0ff38ffe8c update 2024-10-14 16:51:20 +08:00
Wenjie Zhang
39ff8a07a9 sync 2024-10-08 22:16:17 +08:00
Wenjie Zhang
02686db89f temp 2024-10-02 20:11:28 +08:00
Wenjie Zhang
9744b738ba add pad2txt tools 2024-09-29 16:13:35 +08:00
Wenjie Zhang
e968a3d9f8 fix pdf parser bug 2024-09-29 16:13:06 +08:00
Wenjie Zhang
ee84c4f391
Update README.md 2024-09-28 16:20:32 +08:00
Wenjie Zhang
5dbb1f4d76 update setting page 2024-09-28 00:41:18 +08:00
Wenjie Zhang
ee950e40c9 update zhipuai_api_key and siliconflow 2024-09-28 00:39:31 +08:00
Wenjie Zhang
542562dd5b fix chunking 2024-09-26 22:45:02 +08:00
Wenjie Zhang
6f81b061d2 update tools view and indexing 2024-09-25 13:46:23 +08:00
Wenjie Zhang
b6abb2c8e7 graph support 2024-09-18 21:03:12 +08:00
Wenjie Zhang
0780638152 rename 2024-09-14 02:45:35 +08:00
Wenjie Zhang
5c03d3d7cc fix reranker bug 2024-09-14 02:45:13 +08:00
Wenjie Zhang
5925e359e9 fix: 图查询出错的问题 2024-09-14 02:44:53 +08:00
Wenjie Zhang
0f249759a7 fix reranker bug 2024-09-13 15:25:01 +08:00
Wenjie Zhang
13c6037bdb optimize: log style 2024-09-13 15:24:36 +08:00
Wenjie Zhang
effa086c36 fix log bugs 2024-09-11 01:08:44 +08:00
Wenjie Zhang
a3a7ab034b trans cv2 to PIL 2024-09-11 01:08:37 +08:00
Wenjie Zhang
152bfbf49f fix graph bugs 2024-09-11 01:08:13 +08:00
Wenjie Zhang
7ce9b5bd8a fix local model bugs 2024-09-11 01:07:19 +08:00
Wenjie Zhang
302e59c2c9 update 2024-09-09 17:07:03 +08:00
Wenjie Zhang
b7e65fe108 fix graph bugs 2024-09-06 21:30:38 +08:00
Wenjie Zhang
0d455bcc3d update 2024-09-06 12:54:17 +08:00
xerrors
4f4928e536 syncupdate packages 2024-09-03 16:37:59 +08:00
xerrors
d89b7fdeec syc 2024-08-30 11:54:21 +08:00
Wenjie Zhang
0b2dd0179b sync 2024-08-25 20:29:24 +08:00
Wenjie Zhang
def68e8a3e sync 2024-08-25 12:34:35 +08:00
Wenjie Zhang
4083fa6938 sync 2024-08-25 10:33:48 +08:00
Xerrors
4550635dc1 在检索测试里面支持 HyDE 2024-08-08 19:51:13 +08:00
Xerrors
14d965065c Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-08-08 17:13:32 +08:00
Xerrors
32740f9979 reformat 2024-08-08 17:13:01 +08:00
Wenjie Zhang
4a429d666a 最小化依赖 2024-08-08 17:10:41 +08:00
Wenjie Zhang
317974c8ac 添加历史对话轮数的支持，默认 5 轮对话 2024-08-07 17:42:26 +08:00
Wenjie Zhang
312e3af23e Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-08-07 17:25:16 +08:00
Wenjie Zhang
adf130740b 最小化启动依赖 2024-08-07 17:24:46 +08:00
Wenjie Zhang
8d3280997e
Update README.md 2024-08-07 16:14:23 +08:00
QiyiJiang
d5121b446a 图检索中的query_by_vector小bug 2024-07-31 14:50:46 +00:00
Wenjie Zhang
cb00a8f4a9 update kb config 2024-07-31 20:22:05 +08:00
Wenjie Zhang
1906c97782 database query test 2024-07-29 01:00:02 +08:00
Wenjie Zhang
6971e7e1b7 修改后端入口为 src, 运行代码不需要使用 cd src, 添加前端查看检索结果 2024-07-28 16:16:52 +08:00
Wenjie Zhang
0d67db6629 Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-07-25 20:30:40 +08:00
Wenjie Zhang
84f6761a67 升级了设置页面/聊天布局/数据库展示等，新增了参考资料查询 2024-07-25 20:30:28 +08:00
QiyiJiang
61ba90d301 query_by_vector添加检索数量和阈值两个参数 2024-07-24 12:23:31 +00:00
QiyiJiang
28e2b4bd0d 通过jsonl文件批量添加三元组到知识图谱 2024-07-24 11:35:33 +00:00
Wenjie Zhang
4e1be33ebb update graph page 2024-07-24 18:32:14 +08:00
Wenjie Zhang
3ab20611a2 modified config embedding model and startup 2024-07-22 00:00:54 +08:00
Wenjie Zhang
590dfd1836 Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-07-21 18:17:25 +08:00
Wenjie Zhang
429c5e3b14 update some details 2024-07-21 18:15:28 +08:00
QiyiJiang
956a8d1b02 知识图谱检索问答 2024-07-20 12:30:32 +00:00
Wenjie Zhang
ddd4ce99c3 vllm supported 2024-07-20 15:27:33 +08:00
Wenjie Zhang
789ab07f51 some little details and change default qianfan model from erine_lit_8k to erine_speed 2024-07-18 02:47:41 +08:00
Wenjie Zhang
9e070a1318 update meta infos 2024-07-18 02:46:58 +08:00
Wenjie Zhang
d7ab60e564 format graph result 2024-07-17 20:53:55 +08:00
QiyiJiang
292803f989 Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-07-17 11:50:33 +00:00
QiyiJiang
f9cabc54da change output 2024-07-17 11:34:05 +00:00
Wenjie Zhang
b0d0a77af3 fix bug 2024-07-17 19:10:41 +08:00
Wenjie Zhang
92a8ec3996 Merge branch 'dev' of https://github.com/xerrors/ProjectAthena into dev 2024-07-17 18:55:04 +08:00
Wenjie Zhang
86e8910eee update 2024-07-17 18:52:20 +08:00
QiyiJiang
62d1a86950 graph_retriever 2024-07-17 10:50:01 +00:00
Wenjie Zhang
6c5c099132 update details 2024-07-16 23:12:35 +08:00
Wenjie Zhang
d0614400ce add database api and front-end pages 2024-07-16 18:14:27 +08:00
QiyiJiang
158bc08bd6 指定跳数检索 2024-07-16 04:27:46 +00:00
QiyiJiang
df7a511001 graphbase_init 2024-07-15 10:58:34 +00:00
Wenjie Zhang
523cc63b51 add database server api partial support 2024-07-14 23:59:52 +08:00
Wenjie Zhang
e28f38627a Merge branch 'main' of https://github.com/xerrors/ProjectAthena into dev 2024-07-14 21:44:59 +08:00
Wenjie Zhang
5fbadef1d4 update 2024-07-14 21:44:27 +08:00
QiyiJiang
30be5efd3a jsonl 格式 2024-07-14 13:29:58 +00:00
QiyiJiang
812ad2cbd8 kg 修改 2024-07-14 13:04:00 +00:00
Wenjie Zhang
39e7e76e58 oneke update [未验证] 2024-07-14 18:31:23 +08:00
QiyiJiang
f7132e321f ocr and kg 2024-07-14 08:56:11 +00:00
QiyiJiang
401009bc9c makedir 2024-07-14 08:52:30 +00:00
Wenjie Zhang
d947d82602 UI重构以及历史问答bug修复 2024-07-14 16:42:38 +08:00
Wenjie Zhang
9cec978383 add plugin oneke 2024-07-10 12:57:04 +08:00
Wenjie Zhang
39bd774159 update retriever 2024-07-10 12:56:53 +08:00
Wenjie Zhang
a9124a1881 fix typo 2024-07-09 16:38:05 +08:00
Wenjie Zhang
b9d6d13d72 support for knowledge base RAG and fix UI bug 2024-07-09 05:04:20 +08:00
Wenjie Zhang
fdf016254d add wenxin support and fix double-predict bugs 2024-07-07 17:21:07 +08:00
Wenjie Zhang
00a0f87453 add requirements 2024-07-07 02:03:30 +08:00
Wenjie Zhang
9d6f9e35e7 first commit: chat support deepseek, zhipu 2024-07-07 01:58:23 +08:00