83e0caae7d
实现RAG评估系统，包括基准管理、评估指标计算和结果展示功能 - 添加评估路由和API接口 - 实现评估指标计算工具类 - 新增基准上传和自动生成功能 - 添加评估结果展示组件 - 完善相关文档和测试用例
4.4 KiB
4.4 KiB
开发路线图
路线图可能会经常变更，如果有强烈的建议，可以在 issue 中提。
v0.4
看板
- 统一图谱数据结构，优化可视化方式 #298 #273
- 集成智能体评估，首先使用命令行来实现，然后考虑放在 UI 里面展示
- 开发与生产环境隔离，构建生产镜像
- 集成 LangFuse (观望) 添加用户日志与用户反馈模块，可以在 AgentView 中查看信息
- 集成 neo4j mcp （或者自己构建工具）
- 文档解析部分的 markdown 中的图片替换为内部可访问的链接 (2/4)
- 同名文件处理逻辑：遇到同名文件则在上传区域提示，是否删除旧文件
- conversation 待修改为异步的版本
- DBManager 需要将数据库修改为异步的aiosqlite或者异步mysql，缓存使用Redis存储
- 【eval】缺少自动生成评估的功能
Bugs
- 部分异常状态下，智能体的模型名称出现重叠#279
- DeepSeek 官方接口适配会出现问题
- 目前的知识库的图片存在公开访问风险
- 深度分析智能体需要考虑上下文超限的问题
- 【eval】检索评估缺少检索参数的内容
- 【eval】总体评分替换为确定的某个指标，最好是在右侧可以选择可行的指标
- 【eval】检索配置应该修改为一个弹窗
- 【eval】当前的检索配置仅保存在本地，实际并没有保存在知识库的元数据中
新增
- 优化知识库详情页面，更加简洁清晰
- 新增对于上传文件的智能体中间件
- 增强文件下载功能
- 新增多模态模型支持（当前仅支持图片，详见文档）
- 新建 DeepAgents 智能体（Demo），支持 todo，files 等渲染。
- 新增基于知识库文件生成思维导图功能（#335）
- 新增基于知识库文件生成示例问题功能（#335）
- 新增知识库支持文件夹/压缩包上传的功能（#335）
- 新增自定义模型支持、新增 dashscope rerank/embeddings 模型的支持
- 新增文档解析的图片支持，已支持 MinerU Officical、Docs、Markdown Zip格式
- 新增暗色模式支持并调整整体 UI（#343）
- agent 状态中的文件区域，新增可以下载
- 移除 Chroma 的支持，当前版本标记为移除
修复
- 修复重排序模型实际未生效的问题
- 修复消息中断后消息消失的问题，并改善异常效果
- 修复当前版本如果调用结果为空的时候，工具调用状态会一直处于调用状态，尽管调用是成功的
v0.3
Added
- 添加测试脚本，覆盖最常见的功能（已覆盖API）
- 新建 tasker 模块，用来管理所有的后台任务，UI 上使用侧边栏管理。Tasker 中获取历史任务的时候，仅获取 top100 个 task。
- 优化对文档信息的检索展示（检索结果页、详情页）
- 优化全局配置的管理模型，优化配置管理
- 支持 MinerU 2.5 的解析方法
- 修改现有的智能体Demo，并尽量将默认助手的特性兼容到 LangGraph 的
create_agent中 - 基于 create_agent 创建 SQL Viewer 智能体
- 优化 MCP 逻辑，支持 common + special 创建方式
- LightRAG 知识库应该可以支持修改 LLM
Fixed
- 修复本地知识库的 metadata 和 向量数据库中不一致的情况。
- v1 版本的 LangGraph 的工具渲染有问题
- upload 接口会阻塞主进程
- LightRAG 知识库查看不了解析后的文本，偶然出现，未复现
- 智能体的加载状态有问题：（1）智能体加载没有动画；（2）切换对话和加载中，使用同一个loading状态。
- 前端工具调用渲染出现问题
- 当前 ReAct 智能体有消息顺序错乱的 bug，且不会默认调用工具
- 修复文件管理：（1）文件选择的时候会跨数据库；（2）文件校验会算上失败的文件；