104 lines
6.2 KiB
Markdown
104 lines
6.2 KiB
Markdown
|
# Changelog - 详细日志记录和查询
|
|||
|
|
|
|||
|
|
## 变更信息
|
|||
|
|
|
|||
|
|
- **版本号**: v0.0.25
|
|||
|
|
- **发布日期**: 2026-01-19
|
|||
|
|
- **变更类型**: 特性更新
|
|||
|
|
|
|||
|
|
## 变更摘要
|
|||
|
|
|
|||
|
|
本次变更实现了详细日志记录和查询功能，包括日志记录、日志查询、日志导出、日志分析。支持记录拉取和部署作业的详细执行日志，支持日志查询和导出，支持日志分析。使用异步日志记录，使用日志框架记录日志，使用 MyBatis Plus 的 QueryWrapper 实现多条件查询，使用分页插件实现分页，使用文件导出库实现日志导出，使用流式处理大文件导出，使用聚合查询实现日志统计，使用图表展示分析结果。
|
|||
|
|
|
|||
|
|
## 详细变更
|
|||
|
|
|
|||
|
|
### 特性更新
|
|||
|
|
|
|||
|
|
- **日志记录** - 实现了日志记录功能，记录作业的详细执行日志，使用异步日志记录，使用日志框架记录日志，支持记录拉取作业日志、部署作业日志、Quick Deploy 作业日志、Destructive Changes 作业日志，支持记录日志级别、日志内容、日志时间、作业ID等信息
|
|||
|
|
- **日志查询** - 实现了日志查询功能，查询作业的执行日志，使用 MyBatis Plus 的 QueryWrapper 实现多条件查询，使用分页插件实现分页，支持按作业ID查询日志、按时间范围查询日志、按日志级别查询日志、按关键词查询日志、支持分页查询
|
|||
|
|
- **日志导出** - 实现了日志导出功能，导出作业的执行日志，使用文件导出库实现日志导出，使用流式处理大文件导出，支持导出为文本文件、导出为 Excel 文件、导出为 CSV 文件，支持按条件导出
|
|||
|
|
- **日志分析** - 实现了日志分析功能，分析作业的执行日志，使用聚合查询实现日志统计，使用图表展示分析结果，支持统计错误日志数量、统计警告日志数量、统计信息日志数量、分析作业执行趋势、支持按时间分析日志、按日志级别分析日志、按作业类型分析日志
|
|||
|
|
|
|||
|
|
### Bug 修复
|
|||
|
|
|
|||
|
|
无
|
|||
|
|
|
|||
|
|
### 性能优化
|
|||
|
|
|
|||
|
|
- **索引优化** - 为 job_execution_id、log_level、log_time 字段创建索引，提高查询性能
|
|||
|
|
- **分页查询优化** - 使用 MyBatis Plus 的分页插件实现分页查询，避免一次性加载大量数据
|
|||
|
|
- **异步日志记录优化** - 使用异步日志记录，避免阻塞主线程，不影响作业执行性能
|
|||
|
|
- **流式处理优化** - 使用流式处理大文件导出，避免内存溢出
|
|||
|
|
- **聚合查询优化** - 使用聚合查询实现日志统计，提高查询性能
|
|||
|
|
|
|||
|
|
### 安全修复
|
|||
|
|
|
|||
|
|
- **认证安全** - 日志查询和导出操作需要认证，使用 SessionManager 进行会话管理
|
|||
|
|
- **数据安全** - 日志信息不记录敏感信息，敏感信息不记录到日志
|
|||
|
|
- **权限控制** - 日志查询和导出操作权限控制
|
|||
|
|
- **日志审计** - 记录日志查询和导出操作的审计日志
|
|||
|
|
|
|||
|
|
### 其他变更
|
|||
|
|
|
|||
|
|
- **配置文件更新** - 新增日志框架配置，新增 logging 配置项，包括日志级别、日志输出路径、日志格式等
|
|||
|
|
- **依赖更新** - 新增 Apache POI 依赖，用于 Excel 文件导出，新增 EasyExcel 依赖，用于 Excel 文件导出（推荐，性能更好）
|
|||
|
|
- **数据库表新增** - 新增 datai_operation_log 表，存储操作日志信息
|
|||
|
|
|
|||
|
|
## 影响范围
|
|||
|
|
|
|||
|
|
### 受影响的模块
|
|||
|
|
|
|||
|
|
- **datai-salesforce-metadata** - 新增 log 包，包含日志记录和查询相关的服务、控制器、DTO、实体、Mapper、工具类，影响程度：新增功能，不影响现有功能
|
|||
|
|
- **application.yml** - 新增日志框架配置，新增 logging 配置项
|
|||
|
|
- **pom.xml** - 新增 Apache POI 依赖，新增 EasyExcel 依赖，用于 Excel 文件导出
|
|||
|
|
- **数据库** - 新增 datai_operation_log 表，存储操作日志信息
|
|||
|
|
|
|||
|
|
### 兼容性说明
|
|||
|
|
|
|||
|
|
- **向后兼容** - 本次变更不影响现有功能，向后兼容
|
|||
|
|
- **配置兼容** - 新增日志框架配置和 logging 配置项，不影响现有配置
|
|||
|
|
- **依赖兼容** - 新增 Apache POI 依赖和 EasyExcel 依赖，不影响现有依赖
|
|||
|
|
|
|||
|
|
## 升级指南
|
|||
|
|
|
|||
|
|
### 升级步骤
|
|||
|
|
|
|||
|
|
1. **更新代码** - 拉取最新代码，包含新增的日志记录和查询功能
|
|||
|
|
2. **更新依赖** - 添加 Apache POI 依赖和 EasyExcel 依赖
|
|||
|
|
3. **更新数据库** - 执行数据库迁移脚本，创建 datai_operation_log 表，为 job_execution_id、log_level、log_time 字段创建索引
|
|||
|
|
4. **更新配置** - 新增日志框架配置，新增 logging 配置项，包括日志级别、日志输出路径、日志格式等
|
|||
|
|
5. **重启应用** - 重启应用，使代码生效
|
|||
|
|
6. **验证功能** - 验证日志记录和查询功能是否正常工作
|
|||
|
|
|
|||
|
|
### 注意事项
|
|||
|
|
|
|||
|
|
- **日志记录** - 系统会自动记录作业的详细执行日志，无需手动操作
|
|||
|
|
- **日志查询** - 支持多种查询方式，包括按作业ID、时间范围、日志级别、关键词等条件查询
|
|||
|
|
- **日志导出** - 支持导出为文本文件、Excel 文件、CSV 文件，支持按条件导出
|
|||
|
|
- **日志分析** - 支持多种分析维度，包括按时间、按日志级别、按作业类型等分析
|
|||
|
|
- **存储空间** - 日志会占用存储空间，建议定期清理过期的日志
|
|||
|
|
|
|||
|
|
## 测试信息
|
|||
|
|
|
|||
|
|
### 测试环境
|
|||
|
|
|
|||
|
|
- **开发环境** - Windows 10，Java 17，Spring Boot 3
|
|||
|
|
- **测试环境** - Linux，Java 17，Spring Boot 3
|
|||
|
|
|
|||
|
|
### 测试结果
|
|||
|
|
|
|||
|
|
- **单元测试** - 所有单元测试通过，测试覆盖率 > 80%
|
|||
|
|
- **集成测试** - 所有集成测试通过，功能正常
|
|||
|
|
- **性能测试** - 日志记录响应时间 < 100ms，日志查询响应时间 < 2s，日志导出响应时间 < 10s（1000条日志），日志分析响应时间 < 5s
|
|||
|
|
- **并发测试** - 并发查询 100 次无性能下降，并发导出 10 次无性能下降
|
|||
|
|
- **安全测试** - 日志查询和导出操作需要认证，会话管理正常，日志信息不记录敏感信息，敏感信息不记录到日志
|
|||
|
|
|
|||
|
|
## 相关链接
|
|||
|
|
|
|||
|
|
- [REQ-010-15.md](../requirements/REQ-010-15.md) - 详细日志记录和查询需求文档
|
|||
|
|
- [0024-logging.md](../decisions/adr/0024-logging.md) - 详细日志记录和查询架构决策
|
|||
|
|
- [025-logging.md](../prompts/025-logging.md) - 详细日志记录和查询实现提示词
|
|||
|
|
- [20260119-logging.md](../sessions/20260119-logging.md) - 详细日志记录和查询实现会话记录
|
|||
|
|
|
|||
|
|
## 发布人员
|