Wenjie Zhang
a5d55d6c37
refactor(storage): 重构对话数据库模型与存储管理
...
将业务数据模型从SQLite迁移至PostgreSQL,统一使用models_business.py
删除旧的SQLite模型和ConversationManager,新增repository和服务层
优化时间处理工具函数,增加utc_now_naive和format_utc_datetime
重构前端组件代码格式,统一多行导入和长字符串的换行风格
2026-01-24 10:56:31 +08:00
Wenjie Zhang
a1812f2e97
feat(知识库): 重构知识库元数据存储为PostgreSQL数据库
...
- 新增知识库、知识文件、评估基准、评估结果等数据模型
- 实现知识库相关Repository类提供CRUD操作
- 修改知识库实现类使用PostgreSQL存储元数据
- 添加PostgreSQL数据库管理器和初始化逻辑
- 更新相关路由和工具类适配新的存储方式
- 添加数据库迁移脚本和测试工具
- 在docker-compose中配置PostgreSQL服务
2026-01-24 10:56:31 +08:00
Wenjie Zhang
5a5b105769
feat: 更新日志配置,添加日志桥接功能 #462
2026-01-12 19:22:41 +08:00
Wenjie Zhang
c5fcbc6374
fix(logging): 移除lightrag中的重复日志配置并增强日志线程安全
...
禁止lightrag重复配置日志,避免覆盖主程序日志配置
在logging_config中添加enqueue参数确保日志线程安全
2026-01-01 23:39:24 +08:00
Wenjie Zhang
83e0caae7d
feat(evaluation): 新增RAG评估功能模块
...
实现RAG评估系统,包括基准管理、评估指标计算和结果展示功能
- 添加评估路由和API接口
- 实现评估指标计算工具类
- 新增基准上传和自动生成功能
- 添加评估结果展示组件
- 完善相关文档和测试用例
2025-12-09 16:21:18 +08:00
miluELK
103b3affee
feat:为kb的download_document,add_documents,delete_document操作接口使用了minio管理文件。实现了minio的部分异步操作
...
debug:minio 7.2.19使用时需要显式指定参数
feat:为excel添加了特殊的处理方式,通过保存表头避免chunk丢失信息,需要安装openpyxl
2025-11-29 17:49:42 +08:00
Wenjie Zhang
d999613f41
refactor: 优化环境变量获取逻辑,确保默认值处理
...
- 在多个文件中更新环境变量的获取方式,使用 `or` 语法简化代码,确保在未设置环境变量时使用默认值。
- 移除 `.env.template` 中与 LightRAG 相关的环境变量配置,简化配置文件。
- 更新 `pyproject.toml` 中的项目描述,提供更清晰的项目定位。
- 在文档中增加对图片上传响应格式的详细说明,提升用户理解。
2025-11-12 19:53:56 +08:00
Wenjie Zhang
628b37c73c
feat(multimodal): 完整实现多模态图片支持功能
...
1. 后端:
- 添加图片上传接口 /api/chat/image/upload
- 在消息处理中支持图片内容
- 更新数据库模型和迁移脚本
- 实现图片处理工具类
2. 前端:
- 添加图片上传和预览组件
- 支持多模态消息发送
- 更新消息显示以支持图片
- 集成图片上传API
3. 文档:
- 更新agents-config.md添加多模态图片支持说明
- 更新roadmap.md添加多模态支持计划
主要功能包括:
- 支持JPEG、PNG、WebP、GIF、BMP等格式
- 图片大小限制为10MB
- 自动处理图片格式转换和压缩
- 支持单图片上传
- 图片以base64编码存储在数据库
2025-11-12 14:04:34 +08:00
Wenjie Zhang
b36f6e78f3
refactor(time): 重构应用程序中的日期时间处理
...
- 新增工具模块 `datetime_utils.py`,用于统一处理UTC和上海时区
- 在 `manager.py`、`models.py` 等后端文件中,将直接操作日期时间的代码替换为工具函数
- 更新前端组件,使用 `dayjs` 进行时区感知的日期格式化和解析
- 移除冗余的日期格式化逻辑,将其集中到工具函数中
- 通过确保所有时间戳均以亚洲/上海时区显示,提升用户体验
2025-10-13 15:08:54 +08:00
Wenjie Zhang
790c068eb6
fix(docs): 更新 README 和文档路径,添加 MinIO 存储模块文档
...
- 修改 README 中的模型配置路径,确保指向正确的配置文件位置
- 新增 MinIO 存储模块文档,提供基本使用和高级使用示例
- 更新内容审查机制和品牌信息配置的相关路径
- 移除旧的用户模型和线程模型,重构数据库模型管理
- 优化代码结构,确保数据库管理器和模型的导入路径一致
2025-09-23 10:48:44 +08:00
Wenjie Zhang
f1fe10f22c
feat(models): 添加嵌入和聊天模型状态检查接口 #282
...
- 在知识路由中新增获取指定嵌入模型和聊天模型状态的接口
- 实现获取所有嵌入模型和聊天模型状态的功能
- 更新前端API以支持模型状态检查,增强用户体验
- 优化日志记录格式,提升调试信息的可读性
2025-09-22 22:02:57 +08:00
Wenjie Zhang
2acbd4b93a
feat: 添加HOST_IP环境变量支持并更新图片生成工具
...
- 在docker-compose中添加HOST_IP环境变量配置
- 修改minio_utils以支持通过HOST_IP配置公开端点
- 移除本地MCP服务器配置
- 将text_to_img工具替换为基于Kolors API的实现
2025-09-07 20:25:42 +08:00
Wenjie Zhang
08ac557028
feat(agent): implement text-to-img tool with MinIO storage
...
Adds a new agent tool `text_to_img` that generates a placeholder image
from text and uploads it to a MinIO server, returning a public URL.
Key changes:
- Adds `minio` and `Pillow` to project dependencies.
- Creates a reusable MinIO utility module in `src/utils/minio_utils.py`
to handle file uploads and bucket management.
- Refactors the agent tool to use this new utility, separating concerns
and simplifying the tool's implementation.
- Replaces the previous hardcoded URL with a real, functional image
upload process.
2025-09-02 14:00:06 +08:00
Wenjie Zhang
f1c843addc
refactor: 清理未使用的导入和优化代码格式
2025-09-02 01:08:42 +08:00
Wenjie Zhang
7641ab3699
stylle: 使用更加严格的风格检查以及代码格式化方法
2025-09-01 22:37:03 +08:00
Wenjie Zhang
221f4af213
fix(chatbot): 修复智能体工具获取和权限问题
...
- 修改工具获取逻辑,使用智能体实例的工具列表
- 将工具获取接口的权限从管理员改为普通用户
- 更新日志格式,添加行号信息
- 修复前端工具获取时未传递智能体ID的问题
2025-08-31 10:27:58 +08:00
Wenjie Zhang
7d4722b62c
feat: 更新知识库相关配置
...
- 实现QA数据
- 优化现在创建知识库的体验
- 优化文件处理与加载方法
- 整体的格式检查与优化
- 优化 Embedding model 的加载逻辑,修复并行问题
- 优化整体的颜色布局
- 移除未使用的接口(前后端)
- 优化知识库的 chunk 逻辑
- 添加新的 Embedding模型支持
- 修复新建知识库后,Agent无法reload的问题
2025-07-26 03:36:54 +08:00
Wenjie Zhang
7b846ff76b
fix: 更新数据库路径和日志配置,确保兼容性和可维护性
2025-06-28 20:19:26 +08:00
Wenjie Zhang
57299fda8d
chore: 更新配置文件和日志路径
...
- 在 docker-compose.yml 中新增测试目录挂载。
- 修改 __init__.py 文件,更新配置文件路径以使用 save_dir 变量。
- 更新 logging_config.py 文件,调整日志文件路径至 tmp/logs,并确保相应目录存在。
- 移动 test/test_neo4j.py 文件
2025-06-26 02:13:46 +08:00
Wenjie Zhang
286e06f25b
style: ruff check fix
2025-06-23 10:32:01 +08:00
Wenjie Zhang
c6ab72cd5b
refactor: 项目配置重构及 OCR 功能增强
...
- 更新 .gitignore,忽略本地文件。
- 调整 docker-compose.yml,优化服务配置及端口设置。
- api.Dockerfile 更换为基于 NVIDIA CUDA 的镜像,支持 GPU。
- pyproject.toml 新增依赖 langchain-tavily,并升级 mineru。
- tools_factory.py 重构,采用 langchain_tavily 的 TavilySearch。
- knowledgebase.py 增强 Milvus 连接异常的错误日志。
- _ocr.py 中 OCRPlugin 升级,使用 mineru 新解析方法,并调整健康检查 URL。
- 新增 mineru.py,实现文档解析逻辑。
- logging_config.py 优化日志配置,采用 loguru 管理日志。
- DataBaseInfoView.vue 新增分块参数配置及文件上传相关弹窗和功能。
2025-06-18 19:07:29 +08:00
Wenjie Zhang
d9802414f1
feat: 更新依赖和优化数据处理接口
...
- 优化了数据路由器中的文件和 URL 分块处理逻辑,增加了错误处理和日志记录。
- 更新了前端 API 接口以支持新的文件索引流程,移除了过时的接口。
2025-05-26 13:12:17 +08:00
Wenjie Zhang
a6857c3e21
style: fix ruff check
2025-05-24 11:29:45 +08:00
Wenjie Zhang
b0db3c6b0d
feat: 更新 Docker 配置和添加 MinerU OCR 服务
...
- 修改了 docker-compose.yml,更新了 API 和 Web 服务的镜像名称,并添加了 MinerU OCR 服务。
- 在 pyproject.toml 中添加了 Ruff 代码检查工具的配置。
- 更新了 API 和 Web Dockerfile,添加了代理环境变量。
- 新增了用于拉取 Docker 镜像的脚本。
- 在文档中添加了关于如何使用 MinerU OCR 的说明。
- 优化了代码结构和日志记录,提升了可读性和维护性。
2025-05-23 15:30:14 +08:00
Wenjie Zhang
44fad724bf
feat: 更新依赖并优化组件
...
- 在 pyproject.toml 中添加了 colorlog、langchain-deepseek 和 langchain-together 依赖。
- 修改了 chat_router.py 中的日志记录方式。
- 重命名 tools_factory.py 中的函数以更好地描述其功能。
- 更新了配置文件以支持新的模型选择。
- 优化了前端组件的样式和功能,包括侧边栏和消息输入框的交互体验。
2025-05-20 20:49:50 +08:00
Wenjie Zhang
9429a819ee
refactor: 合并database数据库和server数据库
...
- 同时合并管理器,将事务相关的内容修改到knowledgebase中
- 添加数据库迁移的检测脚本
2025-05-17 23:36:01 +08:00
Wenjie Zhang
ea40fa4d1b
优化改写逻辑,默认启用改写查询
2025-05-10 10:53:15 +08:00
Wenjie Zhang
f11f719b4e
优化重写查询
2025-04-11 11:53:37 +08:00
Wenjie Zhang
d26fda4053
更新了很多
...
- 添加了系统提示词
- 添加了知识库的加载方式
2025-03-20 19:51:46 +08:00
Wenjie Zhang
914e666436
修复OCR识别问题
2025-03-11 18:10:31 +08:00
Wenjie Zhang
fb15e258db
支持 ollma embedding
2025-03-04 13:49:00 +08:00
Wenjie Zhang
f52d342afb
update logger config
2025-03-03 22:06:28 +08:00
Wenjie Zhang
e04add5bc2
update logger
2025-02-27 19:35:25 +08:00
Wenjie Zhang
19a8e4714e
细节优化
2025-02-23 16:39:52 +08:00
Wenjie Zhang
d9e39a7a7d
Merge branch 'main' of https://github.com/xerrors/Yuxi-Know
2025-02-20 01:26:12 +08:00
Wenjie Zhang
6f81b061d2
update tools view and indexing
2024-09-25 13:46:23 +08:00
Wenjie Zhang
b6abb2c8e7
graph support
2024-09-18 21:03:12 +08:00
Wenjie Zhang
0780638152
rename
2024-09-14 02:45:35 +08:00
Wenjie Zhang
302e59c2c9
update
2024-09-09 17:07:03 +08:00
Wenjie Zhang
0b2dd0179b
sync
2024-08-25 20:29:24 +08:00
Wenjie Zhang
1906c97782
database query test
2024-07-29 01:00:02 +08:00
Wenjie Zhang
6971e7e1b7
修改后端入口为 src, 运行代码不需要使用 cd src, 添加前端查看检索结果
2024-07-28 16:16:52 +08:00
Wenjie Zhang
6c5c099132
update details
2024-07-16 23:12:35 +08:00
Wenjie Zhang
d0614400ce
add database api and front-end pages
2024-07-16 18:14:27 +08:00
Wenjie Zhang
523cc63b51
add database server api partial support
2024-07-14 23:59:52 +08:00
Wenjie Zhang
e28f38627a
Merge branch 'main' of https://github.com/xerrors/ProjectAthena into dev
2024-07-14 21:44:59 +08:00
Wenjie Zhang
5fbadef1d4
update
2024-07-14 21:44:27 +08:00
QiyiJiang
812ad2cbd8
kg 修改
2024-07-14 13:04:00 +00:00
Wenjie Zhang
39e7e76e58
oneke update [未验证]
2024-07-14 18:31:23 +08:00
QiyiJiang
401009bc9c
makedir
2024-07-14 08:52:30 +00:00