datai/docs/archive/REQ-010-6.md

# Requirements - 元数据拉取核心功能

## 需求信息

- **需求名称**: 元数据拉取核心功能
- **需求类型**: 功能需求
- **需求编号**: REQ-010-6
- **父需求**: REQ-010
- **创建日期**: 2026-01-17
- **需求版本**: v1.0.0
- **需求提出人**: 系统管理员
- **需求状态**: 已完成

## 输入引用

引用相关的 docs 文档链接：

- [REQ-010.md](REQ-010.md) - Salesforce元数据拉取和部署主需求文档
- [REQ-010-1.md](REQ-010-1.md) - 数据库表结构设计和创建
- [REQ-010-2.md](REQ-010-2.md) - 基础实体类和Mapper创建
- [REQ-010-3.md](REQ-010-3.md) - Salesforce组织配置管理
- [REQ-010-4.md](REQ-010-4.md) - 元数据任务定义管理
- [REQ-010-5.md](REQ-010-5.md) - Metadata API客户端封装
- [010-metadata-retrieve-deploy-sub-requirements.md](010-metadata-retrieve-deploy-sub-requirements.md) - REQ-010子需求拆分文档
- [metadata-module.md](../reference-code/com/docs/metadata-module.md) - Salesforce Metadata API 模块说明（唯一真源）
- [index.md](../reference-code/com/docs/index.md) - Salesforce SOAP API Java 客户端参考文档（唯一真源）

## Context Maps

强制列出本次需求依赖的 Canvas 文件：

- [Authentication.canvas](../Authentication.canvas) - 项目架构视觉化展示
- **相关节点**: [集成核心](node_integration_core) - 提供与Salesforce的各种连接方式
- **相关节点**: [SessionManager](node_session_manager_detail) - 会话管理，提供登录服务

## 需求目标

实现Salesforce元数据拉取的核心功能，使用Metadata API的retrieve()方法，支持异步执行、状态轮询、Zip文件下载。

## 需求描述

### 概述

本需求旨在实现Salesforce元数据拉取的核心功能，包括手动触发拉取、异步拉取执行、状态监控、拉取历史记录、拉取进度查询、拉取取消功能等。

### 详细需求

#### 1. 手动触发拉取功能

- **需求描述**: 实现手动触发拉取功能，创建作业执行记录
- **优先级**: 高
- **验收标准**: 
  - 能够成功手动触发拉取
  - 支持选择任务ID（taskId）
  - 支持选择组织配置（orgConfigId）
  - 触发成功返回作业执行记录ID
  - 创建作业执行记录到datai_meta_job_execution表
  - 记录任务类型（jobType：retrieve/deploy）
  - 记录初始状态（status：Pending）
  - API接口符合RESTful规范
  - 使用@Valid注解进行参数验证
- **依赖关系**: 依赖于REQ-010-1, REQ-010-2, REQ-010-3, REQ-010-4, REQ-010-5
- **实现建议**: 使用MetadataApiClient调用retrieve()方法，使用异步线程池执行拉取任务，创建DataiMetaJobExecution记录

#### 2. 异步拉取执行

- **需求描述**: 实现异步拉取执行，避免阻塞主线程
- **优先级**: 高
- **验收标准**: 
  - 异步拉取执行正常工作
  - 使用线程池管理异步任务
  - 支持并发拉取
  - 拉取任务不阻塞系统响应
  - 使用@Async注解实现异步执行
  - 使用ThreadPoolTaskExecutor配置线程池
  - 使用CompletableFuture支持异步结果
  - 更新作业执行记录的asyncProcessId字段
- **依赖关系**: 依赖于手动触发拉取功能
- **实现建议**: 使用Spring的@Async注解或线程池实现异步执行，使用ConcurrentHashMap存储正在运行的作业

#### 3. 状态监控

- **需求描述**: 实现拉取状态监控（Pending/Processing/Success/Failed/Partial_Success/Cancelled）
- **优先级**: 高
- **验收标准**: 
  - 状态监控正常工作
  - 使用状态机管理拉取状态
  - 支持状态查询
  - 状态更新及时
  - 更新作业执行记录的status字段
  - 更新作业执行记录的state字段（Salesforce作业状态）
  - 更新作业执行记录的startTime和endTime字段
  - 计算并更新durationSeconds字段
  - 支持多种状态（Pending/Processing/Success/Failed/Partial_Success/Cancelled）
- **依赖关系**: 依赖于异步拉取执行
- **实现建议**: 使用状态机管理拉取状态，使用轮询机制检查拉取状态，使用枚举类定义拉取状态

#### 4. 拉取历史记录

- **需求描述**: 实现拉取历史记录功能，查询作业执行记录
- **优先级**: 高
- **验收标准**: 
  - 拉取历史记录成功
  - 支持分页查询
  - 支持条件查询（按taskId、orgConfigId、jobType、status等）
  - 历史记录完整
  - 支持导出功能
  - 使用MyBatis Plus的BaseMapper实现历史记录查询
  - 使用QueryWrapper实现条件查询
  - 使用分页插件实现分页查询
- **依赖关系**: 依赖于状态监控
- **实现建议**: 使用MyBatis Plus的BaseMapper实现历史记录查询，使用DataiMetaJobExecutionMapper

#### 5. 拉取进度查询

- **需求描述**: 实现拉取进度查询功能，实时显示拉取进度
- **优先级**: 高
- **验收标准**: 
  - 拉取进度查询成功
  - 支持实时进度查询
  - 进度信息准确
  - 支持进度百分比显示
  - 更新作业执行记录的progressPercent字段
  - 计算进度百分比（已处理组件数/总组件数）
  - 支持缓存提高查询性能
  - 使用轮询机制获取进度
- **依赖关系**: 依赖于状态监控
- **实现建议**: 使用轮询机制获取进度，使用缓存提高查询性能，计算进度百分比

#### 6. 拉取取消功能

- **需求描述**: 实现拉取取消功能，取消正在进行的拉取任务
- **优先级**: 高
- **验收标准**: 
  - 拉取取消功能正常工作
  - 支持取消正在进行的拉取任务
  - 取消后资源正确释放
  - 取消状态更新及时
  - 使用Future.cancel()取消异步任务
  - 更新作业执行记录的status字段为Cancelled
  - 更新作业执行记录的errorMessage字段
  - 使用状态机管理取消状态
  - 使用异常处理机制处理取消异常
- **依赖关系**: 依赖于异步拉取执行
- **实现建议**: 使用Future.cancel()取消异步任务，使用状态机管理取消状态，使用ConcurrentHashMap管理正在运行的作业

#### 7. 作业执行记录管理

- **需求描述**: 实现作业执行记录的完整管理功能
- **优先级**: 高
- **验收标准**: 
  - 支持查询作业执行记录列表
  - 支持获取作业执行记录详情
  - 支持新增作业执行记录
  - 支持修改作业执行记录
  - 支持删除作业执行记录
  - 支持批量删除作业执行记录
  - 支持导出作业执行记录
  - 记录详细的作业执行信息（包括组件数、测试结果等）
  - 使用DataiMetaJobExecution实体类
  - 使用DataiMetaJobExecutionController提供RESTful API接口
  - 权限标识为metadata:execution:*
- **依赖关系**: 依赖于所有拉取功能
- **实现建议**: 使用MyBatis Plus的BaseMapper实现CRUD，使用@PreAuthorize注解进行权限控制

## 约束

- **技术栈限制**: 必须基于现有的Spring Boot 3 + Vue 3技术栈
- **架构约束**: 必须遵循Authentication.canvas中定义的架构和调用关系
- **模块约束**: 必须在datai-salesforce-metadata模块下实现
- **数据库约束**: 必须使用MyBatis Plus作为持久层框架
- **认证约束**: 必须使用SessionManager进行会话管理和自动重新登录
- **API约束**: 必须使用现有的集成核心功能进行Salesforce API调用
- **异步约束**: 必须使用异步线程池执行长时间任务
- **文档约束**: 必须遵循REQ-010中定义的验收标准
- **依赖约束**: 必须依赖于REQ-010-1, REQ-010-2, REQ-010-3, REQ-010-4, REQ-010-5
- **数据模型约束**: 必须使用DataiMetaJobExecution实体类，包含以下字段
  - id: 主键ID
  - taskId: 任务ID
  - orgConfigId: 组织配置ID
  - jobType: 作业类型（retrieve/deploy）
  - status: 状态（Pending/Processing/Success/Failed/Partial_Success/Cancelled）
  - jobId: Salesforce作业ID
  - asyncProcessId: 异步进程ID
  - state: 作业状态（Salesforce作业状态）
  - startTime: 开始时间
  - endTime: 结束时间
  - durationSeconds: 耗时(秒)
  - progressPercent: 进度百分比
  - numberComponentsTotal: 总组件数
  - numberComponentsDeployed: 已部署组件数
  - numberComponentErrors: 错误组件数
  - numberTestWarnings: 测试警告数
  - numberTestErrors: 测试错误数
  - numberTestsTotal: 总测试数
  - numberTestsCompleted: 已完成测试数
  - runTestResult: 测试结果
  - deployDetails: 部署详情
  - errorMessage: 错误信息
  - deptId: 部门ID
- **API设计约束**: 必须提供RESTful API接口，包括/list、/export、/{id}、POST、PUT、DELETE/{ids}等接口
- **权限约束**: 必须使用@PreAuthorize注解进行权限控制，权限标识为metadata:execution:*
- **异步执行约束**: 必须使用Spring的@Async注解实现异步执行
- **线程池约束**: 必须使用ThreadPoolTaskExecutor配置线程池
- **轮询机制约束**: 必须使用轮询机制检查拉取状态
- **状态机约束**: 必须使用状态机管理拉取状态转换
- **并发控制约束**: 必须使用ConcurrentHashMap存储正在运行的作业

## Rule Set

"请严格参考 @Authentication.canvas 中的状态机转移逻辑，不要自行发挥。"

**具体规则**：
- 必须使用Canvas中定义的类名和方法名
- 必须遵循Canvas中定义的调用关系
- 必须参考Canvas中的流程图逻辑
- 必须使用SessionManager进行会话管理和自动重新登录
- 必须使用现有的认证模块进行OAuth认证
- 必须使用现有的集成核心功能进行API调用
- 必须遵循现有的异常处理机制
- 必须遵循现有的日志记录规范

## 验收标准

- **功能完整性**: 所有拉取功能能够正常工作，异步执行机制正常
- **性能指标**: 拉取操作不影响系统响应，状态轮询频率合理
- **代码规范性**: 代码符合项目编码规范，有清晰的注释
- **可维护性**: 代码结构清晰，易于扩展和维护
- **可测试性**: 代码易于单元测试和集成测试

## 风险

- **异步执行风险**: 异步执行机制复杂可能导致状态管理困难
- **状态轮询风险**: 状态轮询频率不当可能导致API限流
- **拉取取消风险**: 拉取取消功能复杂可能导致资源泄漏
- **历史记录风险**: 拉取历史记录过多可能影响查询性能
- **进度查询风险**: 进度查询不准确可能导致用户体验差
- **并发控制风险**: ConcurrentHashMap使用不当可能导致线程安全问题
- **状态机风险**: 状态机设计不当可能导致状态转换错误
- **Future.cancel()风险**: Future.cancel()调用不当可能导致任务无法正确取消
- **ConcurrentHashMap风险**: ConcurrentHashMap使用不当可能导致内存泄漏
- **作业执行记录风险**: DataiMetaJobExecution实体类字段过多可能导致查询性能下降
- **权限控制风险**: @PreAuthorize注解配置不当可能导致权限漏洞
- **参数验证风险**: @Valid注解配置不当可能导致参数验证失败
- **事务一致性风险**: @Transactional注解使用不当可能导致数据不一致
- **异常处理风险**: 异常处理不完善可能导致任务失败无法恢复
- **日志记录风险**: 日志记录不完善可能导致问题排查困难
- **测试覆盖率风险**: 单元测试不完善可能导致代码质量问题
- **轮询超时风险**: 轮询超时设置不当可能导致任务失败
- **进度计算风险**: 进度百分比计算错误可能导致用户体验差
- **作业状态更新风险**: 作业状态更新不及时可能导致用户看到过期信息
- **批量删除风险**: 批量删除作业执行记录可能导致数据丢失

## 需求变更记录

| 日期 | 变更内容 | 变更原因 | 变更人 | 审核人 | 状态 |
|------|---------|---------|--------|--------|------|
| 2026-01-17 | 创建需求文档 | 初始需求 | 系统管理员 | - | 待审核 |
| 2026-01-18 | 完成需求实现 | 完成6个阶段的开发流程 | Datai Team | - | 已完成 |

## 相关人员

- **需求提出人**: 系统管理员 - 联系方式
- **需求负责人**: 系统管理员 - 联系方式
- **技术负责人**: 开发工程师 - 联系方式
- **测试负责人**: 测试工程师 - 联系方式
- **其他相关人员**: - 联系方式

## 评审信息

- **评审日期**: - 
- **评审人员**: - 
- **评审结果**: - 
- **评审意见**: - 
- **修改建议**: -