kris/ForcePilot
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
1,318 Commits 12 Branches 0 Tags 71 MiB
b5c14a6a6f
Commit Graph

44 Commits

Author SHA1 Message Date
Wenjie Zhang
a1812f2e97 feat(知识库): 重构知识库元数据存储为PostgreSQL数据库 
- 新增知识库、知识文件、评估基准、评估结果等数据模型
- 实现知识库相关Repository类提供CRUD操作
- 修改知识库实现类使用PostgreSQL存储元数据
- 添加PostgreSQL数据库管理器和初始化逻辑
- 更新相关路由和工具类适配新的存储方式
- 添加数据库迁移脚本和测试工具
- 在docker-compose中配置PostgreSQL服务
 2026-01-24 10:56:31 +08:00
Wenjie Zhang
e0adda65fc fix(lightrag): 修复 lightrag 知识库 embedding dim 的错误 Fixes: Error: 知识库上传PDF检索测试失败 
Fixes #498 Error: ValueError: Embedding dimension mismatch detected: total elements (1024) cannot be evenly divided by expected dimension (1536)
Fixes #491
 2026-01-23 22:29:24 +08:00
Wenjie Zhang
9430cba037 feat: 增强LLM查询功能，lightrag 中支持选择返回内容范围（默认仅 chunk） #437 2026-01-14 21:03:11 +08:00
Wenjie Zhang
5a5b105769 feat: 更新日志配置，添加日志桥接功能 #462 2026-01-12 19:22:41 +08:00
GitHub Actions
9ffc058d6d style: auto-format with ruff [skip ci] 2026-01-08 17:23:00 +00:00
Wenjie Zhang
05a67c24f8 fix(knowledge): 修复智能体调用场景下，知识库查询参数不生效的问题。 
- 将查询参数从全局元数据迁移到知识库实例元数据
- 废弃 reranker_config 配置，统一通过 query_params.options 管理
- 修改 Milvus 和 LightRAG 实现以使用新的查询参数结构
- 更新前端界面移除旧的 reranker 配置表单
- 添加测试用例验证新的查询参数配置流程
 2026-01-09 01:21:41 +08:00
Wenjie Zhang
c00949778d feat(lightrag): 添加对结构化查询结果的支持并优化前端展示 
- 在 KnowledgeBase 及其实现类中添加 agent_call 参数以区分不同调用场景
- 为 LightRAG 实现结构化查询结果返回，包括实体、关系和文档块
- 在前端添加完整的结构化结果展示组件，包含元数据、实体卡片、关系卡片等
- 优化查询结果样式和交互体验
 2026-01-08 23:17:28 +08:00
Wenjie Zhang
98c73a90c9 refactor(knowledge): 将知识库检索参数从 router 移动到对应的实现文件中 2026-01-08 22:13:17 +08:00
Wenjie Zhang
3c77755a78 feat: 重构知识库文件处理流程，支持分阶段处理【!important】 
refactor(lightrag/milvus): 将文件处理拆分为上传、解析和入库三个阶段
feat(base): 新增文件状态枚举和分阶段处理方法
feat(api): 添加手动触发解析和入库的API接口
fix(utils): 修复MinIO URL解析逻辑，支持更多协议格式
style(components): 优化UI组件样式和交互
test: 移除过时的测试文件
 2026-01-04 21:35:25 +08:00
Wenjie Zhang
302175e0b0 refactor: 移除 ChromaDB 相关代码和依赖 
移除项目中所有与 ChromaDB 相关的代码、依赖和文档引用，统一使用 Milvus 作为向量数据库实现
 2026-01-02 14:44:00 +08:00
Wenjie Zhang
9c48eee7dc Merge branch 'main' of https://github.com/xerrors/Yuxi-Know 2026-01-02 14:20:35 +08:00
Wenjie Zhang
450911eaad refactor(kb): 移除QA分割功能并改进分隔符处理 
移除不再使用的QA分割功能及相关代码，简化文本分块逻辑
添加分隔符转义处理以支持前端传入的转义字符
改进分块参数配置界面的描述和默认值
 2026-01-02 14:20:18 +08:00
GitHub Actions
09fc577ec3 style: auto-format with ruff [skip ci] 2026-01-01 15:40:44 +00:00
Wenjie Zhang
c5fcbc6374 fix(logging): 移除lightrag中的重复日志配置并增强日志线程安全 
禁止lightrag重复配置日志，避免覆盖主程序日志配置
在logging_config中添加enqueue参数确保日志线程安全
 2026-01-01 23:39:24 +08:00
Wenjie Zhang
610b60e204 feat(knowledge): 智能体查询知识库时，支持基于文件名的模糊过滤功能，不支持 LightRAG 
实现知识库检索时可按文件名进行模糊匹配过滤
在Milvus知识库中支持文件名的like表达式过滤
前端展示添加文件名显示
添加相关测试用例验证过滤功能
 2025-12-30 20:10:42 +08:00
Wenjie Zhang
a3edaa8129 feat(server): 添加访问日志中间件并优化日志配置 
1. 实现自定义访问日志中间件以记录请求处理时间
2. 禁用uvicorn默认访问日志处理器
优化日志格式化配置
 2025-12-17 22:55:12 +08:00
Wenjie Zhang
b8e83b71a4 fix(embedding): 修复嵌入模型配置中的兼容性问题 
- 修复 get_embedding_config 中对 model/name 字段的兼容性处理
- 改进错误处理和日志记录
- 支持多种配置格式以保持向后兼容性
- 修复 lightrag.py 中 embedding 函数的模型名称获取逻辑
 2025-12-15 13:35:43 +08:00
Wenjie Zhang
6f630782e1 Merge remote-tracking branch 'origin' into feat/rag-eval 2025-12-09 22:12:20 +08:00
Wenjie Zhang
06e139da1b fix: 更新默认模型从DeepSeek-V3.2-Exp到DeepSeek-V3.2 
统一所有配置文件和文档中的默认模型名称，移除实验版本标记
 2025-12-09 16:47:52 +08:00
Wenjie Zhang
83e0caae7d feat(evaluation): 新增RAG评估功能模块 
实现RAG评估系统，包括基准管理、评估指标计算和结果展示功能

- 添加评估路由和API接口
- 实现评估指标计算工具类
- 新增基准上传和自动生成功能
- 添加评估结果展示组件
- 完善相关文档和测试用例
 2025-12-09 16:21:18 +08:00
Wenjie Zhang
ebaccea507 refactor(knowledge): 优化lightrag的 ollama embedding配置处理并添加查询参数过滤 
重构get_embedding_config函数，直接使用model_dump返回配置信息
在LightRagKB中增加Ollama embedding支持并调整token大小限制
添加查询参数过滤逻辑，只保留有效参数
 2025-12-08 13:23:14 +08:00
Wenjie Zhang
100f9dac7f style: 统一代码格式并修复格式问题 2025-12-04 10:12:01 +08:00
Wenjie Zhang
49253cbc04 fix(embedding): 修复ollama model 不起作用的 bug，并修复model info 由于 getattr 不生效的 bug # 361 
- 在 EmbedModelInfo 中添加 model_id 字段
- 修改 get_embedding_config 以优先使用 model_id 选择模型
- 重构 MilvusKB 的嵌入函数获取逻辑
- 添加调试日志并优化错误处理
 2025-12-03 18:28:31 +08:00
miluELK
954cf3db83 fix: 修复chroma和lightRAG中prepare_item_metadata没有添加await的问题。用make优化了格式 2025-12-02 16:15:32 +08:00
miluELK
103b3affee feat:为kb的download_document,add_documents,delete_document操作接口使用了minio管理文件。实现了minio的部分异步操作 
debug:minio 7.2.19使用时需要显式指定参数
feat：为excel添加了特殊的处理方式，通过保存表头避免chunk丢失信息，需要安装openpyxl
 2025-11-29 17:49:42 +08:00
Wenjie Zhang
0ff771dc19 fix: 禁用URL文档上传与解析功能 
出于安全考虑，移除所有URL文档上传与解析相关功能：
1. 在知识库路由层添加URL上传校验
2. 移除URL元数据生成逻辑
3. 禁用URL转markdown功能
4. 在各知识库实现中移除URL处理逻辑
5. 在前端禁用URL上传选项并添加提示
 2025-11-23 14:57:38 +08:00
Wenjie Zhang
14bcb29d5b
重构 zip 格式 markdown 入库以及其他风格优化 (#336) 
* 更新日志


* refactor(docs): 重构 zip 格式的支持逻辑

---------

Co-authored-by: lihuan-coder <1120083712@qq.com>
 2025-11-15 12:18:31 +08:00
supreme0597
1700628624 feat: 完善重新分块功能，优化代码逻辑，保存请求参数 2025-11-14 00:33:39 +08:00
supreme0597
b7ba646fae feat: 新增知识库文档重新分块功能 2025-11-14 00:33:39 +08:00
Wenjie Zhang
d999613f41 refactor: 优化环境变量获取逻辑，确保默认值处理 
- 在多个文件中更新环境变量的获取方式，使用 `or` 语法简化代码，确保在未设置环境变量时使用默认值。
- 移除 `.env.template` 中与 LightRAG 相关的环境变量配置，简化配置文件。
- 更新 `pyproject.toml` 中的项目描述，提供更清晰的项目定位。
- 在文档中增加对图片上传响应格式的详细说明，提升用户理解。
 2025-11-12 19:53:56 +08:00
Wenjie Zhang
67ddbe6f40 feat: 添加 CLAUDE.md 文件以提供项目开发指导 
- 新增 CLAUDE.md 文件，包含项目概述、开发环境管理、项目架构、开发规范、特色功能模块及调试和故障排除指南。
- 详细描述了使用 Docker Compose 管理开发环境的步骤和常用命令。
- 介绍了项目的技术栈、核心目录结构及主要服务，确保开发者能够快速上手。
 2025-11-12 11:00:39 +08:00
Wenjie Zhang
3a6e76e06e 功能：新增可配置搜索参数的SearchConfigTab组件 
- 实现SearchConfigTab.vue组件，用于管理搜索配置设置
- 增加加载状态、错误处理和默认重置功能
- 集成本地存储功能，支持用户配置的保存与加载
- 更新AppLayout.vue，在数据库信息视图中新增SearchConfigTab
- 修改数据库存储逻辑，支持必要时跳过查询参数加载
- 增强DataBaseInfoView.vue，为向量数据库添加重排序器配置选项
- 重构database.js，优化查询参数加载逻辑
- 清理未使用导入项并优化各组件样式
 2025-11-06 19:47:22 +08:00
Wenjie Zhang
194ef51299 feat: 更新数据库信息接口，支持可选的 LLM 配置信息，并在前端表单中添加相应字段 2025-11-04 00:35:49 +08:00
Wenjie Zhang
02c68a0ca5 feat: 添加隐私设置功能，支持创建私有知识库并在界面中显示锁定图标 2025-10-26 15:08:43 +08:00
Wenjie Zhang
a1fdcbc36c style: ruff format 2025-10-24 00:11:52 +08:00
Wenjie Zhang
f6547fef13 fix: 处理 embed_info 可能为字典或 EmbedModelInfo 对象的情况，确保获取模型名称和其他属性的兼容性 2025-10-23 22:57:01 +08:00
Wenjie Zhang
c33d56f078 fix: 移除 collection.flush() Fixes #297 2025-10-14 06:07:51 +08:00
Wenjie Zhang
50d2cf850f feat: 更新模型配置和选择逻辑，修改为通过 model_spec 统一指定模型格式 2025-10-14 02:27:15 +08:00
Wenjie Zhang
b36f6e78f3 refactor(time): 重构应用程序中的日期时间处理 
- 新增工具模块 `datetime_utils.py`，用于统一处理UTC和上海时区
- 在 `manager.py`、`models.py` 等后端文件中，将直接操作日期时间的代码替换为工具函数
- 更新前端组件，使用 `dayjs` 进行时区感知的日期格式化和解析
- 移除冗余的日期格式化逻辑，将其集中到工具函数中
- 通过确保所有时间戳均以亚洲/上海时区显示，提升用户体验
 2025-10-13 15:08:54 +08:00
Wenjie Zhang
fd980a6153 feat: 更新 .env.template 文件路径，确保模型和保存目录的正确性；在 ChromaKB 中异步添加文档以提高性能 2025-10-11 11:47:11 +08:00
Wenjie Zhang
cfc9b903de style(dashboard): uv lint 2025-10-08 21:54:10 +08:00
Wenjie Zhang
1ce9afa0d3 fix(knowledge): 优化 ChromaDB 插入逻辑，支持分批处理 2025-10-07 16:36:34 +08:00
Wenjie Zhang
af4bb9f48e style(docs): 更新变更日志，添加网络搜索和绘制图片选项说明 
- 在变更日志中新增网络搜索和绘制图片的选项，提供工具调用的相关信息
- 优化知识库架构，提升文档的可读性和完整性
 2025-10-02 19:59:35 +08:00
Wenjie Zhang
2112d4833d refactor(knowledge): 重构知识库模块，优化架构和实现 
- 优化知识库文件夹结构，增强可维护性
- 新增知识库管理器和工厂类，统一管理不同类型的知识库实例
- 实现知识库的基本操作接口，包括创建、更新和删除数据库
- 引入新的知识库实现类（ChromaKB、MilvusKB、LightRagKB），支持多种存储后端
- 增强文件路径验证，确保安全性
- 更新文档，提供新的知识库接口说明
 2025-09-23 13:07:50 +08:00