310 lines
16 KiB
Markdown
310 lines
16 KiB
Markdown
# Requirements - 文件存储和解压处理
|
||
|
||
## 需求信息
|
||
|
||
- **需求名称**: 文件存储和解压处理
|
||
- **需求类型**: 功能需求
|
||
- **需求编号**: REQ-010-7
|
||
- **父需求**: REQ-010
|
||
- **创建日期**: 2026-01-17
|
||
- **需求版本**: v1.0.0
|
||
- **需求提出人**: 系统管理员
|
||
- **需求状态**: 待审核
|
||
|
||
## 输入引用
|
||
|
||
引用相关的 docs 文档链接：
|
||
|
||
- [REQ-010.md](REQ-010.md) - Salesforce元数据拉取和部署主需求文档
|
||
- [REQ-010-1.md](REQ-010-1.md) - 数据库表结构设计和创建
|
||
- [REQ-010-2.md](REQ-010-2.md) - 基础实体类和Mapper创建
|
||
- [REQ-010-3.md](REQ-010-3.md) - Salesforce组织配置管理
|
||
- [REQ-010-6.md](REQ-010-6.md) - 元数据拉取核心功能
|
||
- [010-metadata-retrieve-deploy-sub-requirements.md](010-metadata-retrieve-deploy-sub-requirements.md) - REQ-010子需求拆分文档
|
||
- [file/index.md](../api-docs/file/index.md) - 文件模块 API 文档索引（唯一真源）
|
||
|
||
## Context Maps
|
||
|
||
强制列出本次需求依赖的 Canvas 文件：
|
||
|
||
- [Authentication.canvas](../Authentication.canvas) - 项目架构视觉化展示
|
||
- **相关节点**: [集成核心](node_integration_core) - 提供与Salesforce的各种连接方式
|
||
|
||
## 需求目标
|
||
|
||
实现拉取后的Zip文件存储和解压处理，支持本地文件系统和OSS存储，支持大文件处理。
|
||
|
||
## 需求描述
|
||
|
||
### 概述
|
||
|
||
本需求旨在实现拉取后的Zip文件存储和解压处理，包括Zip文件存储、文件解压、文件路径管理、存储空间管理、文件清理等。
|
||
|
||
### 详细需求
|
||
|
||
#### 1. Zip文件存储
|
||
|
||
- **需求描述**: 实现Zip文件存储功能，使用datai-scene-file模块的存储抽象层
|
||
- **优先级**: 高
|
||
- **验收标准**:
|
||
- Zip文件存储成功
|
||
- 使用StorageBucket接口进行文件存储
|
||
- 支持本地文件系统存储（LocalBucket）
|
||
- 支持MinIO存储（MinioBucket）
|
||
- 支持OSS存储（OssBucket）
|
||
- 使用StorageUtils.getPrimaryStorageBucket()获取主存储桶
|
||
- 使用StorageBucket.put()方法上传文件
|
||
- 使用StorageBucket.get()方法获取文件
|
||
- 使用StorageBucket.remove()方法删除文件
|
||
- 存储路径正确
|
||
- 文件完整性验证通过
|
||
- 支持分片上传（initMultipartUpload、uploadPart、completeMultipartUpload）
|
||
- 支持生成预签名URL（generatePresignedUrl）
|
||
- 支持生成公开访问URL（generatePublicUrl）
|
||
- **依赖关系**: 依赖于REQ-010-1, REQ-010-2, REQ-010-3, REQ-010-6
|
||
- **实现建议**: 使用datai-scene-file模块的StorageBucket接口和StorageUtils工具类，通过配置文件动态切换存储方式（local/minio/oss）
|
||
|
||
#### 2. 文件解压
|
||
|
||
- **需求描述**: 实现文件解压功能，支持大文件处理和流式解压
|
||
- **优先级**: 高
|
||
- **验收标准**:
|
||
- 文件解压成功
|
||
- 使用ZipInputStream实现流式解压
|
||
- 使用BufferedOutputStream写入解压后的文件
|
||
- 支持大文件处理（数百MB）
|
||
- 支持流式解压，避免内存溢出
|
||
- 内存使用合理（缓冲区大小为8192字节）
|
||
- 解压文件结构正确
|
||
- 支持进度回调（ExtractProgressCallback）
|
||
- 支持取消操作（通过标志位中断解压过程）
|
||
- 支持解压进度百分比计算
|
||
- 支持解压状态跟踪（Pending/Processing/Success/Failed/Cancelled）
|
||
- **依赖关系**: 依赖于Zip文件存储
|
||
- **实现建议**: 使用ZipInputStream处理大文件，使用流式处理避免内存溢出，实现IFileExtractService接口和FileExtractServiceImpl实现类
|
||
|
||
#### 3. 文件路径管理
|
||
|
||
- **需求描述**: 实现文件路径管理，支持路径规范化和安全性验证
|
||
- **优先级**: 高
|
||
- **验收标准**:
|
||
- 文件路径管理正常工作
|
||
- 使用Java NIO的Path API处理路径
|
||
- 支持路径规范化（path.normalize()）
|
||
- 支持路径验证（path.startsWith(basePath)）
|
||
- 使用正则表达式验证路径安全性
|
||
- 路径格式正确
|
||
- 路径安全性验证通过
|
||
- 拒绝包含..的路径，防止路径遍历攻击
|
||
- 跨平台路径分隔符处理正确
|
||
- 实现PathValidator工具类
|
||
- 限制文件名（不允许包含特殊字符）
|
||
- **依赖关系**: 依赖于文件解压
|
||
- **实现建议**: 使用Path API处理路径，使用正则表达式验证路径格式，实现PathValidator工具类
|
||
|
||
#### 4. 存储空间管理
|
||
|
||
- **需求描述**: 实现存储空间管理，支持存储空间监控和告警
|
||
- **优先级**: 高
|
||
- **验收标准**:
|
||
- 存储空间管理正常工作
|
||
- 使用FileStore.getUsableSpace()获取可用空间
|
||
- 使用Spring的@Scheduled注解实现定时任务
|
||
- 支持存储空间监控
|
||
- 支持存储空间告警
|
||
- 存储空间信息准确
|
||
- 配置项：file.storage.warning-threshold（告警阈值，如80%）
|
||
- 告警通知使用现有的INotificationService接口
|
||
- 实现IStorageMonitorService接口和StorageMonitorServiceImpl实现类
|
||
- 实现StorageSpaceInfo DTO类
|
||
- 在启动类上添加@EnableScheduling注解
|
||
- **依赖关系**: 依赖于Zip文件存储
|
||
- **实现建议**: 使用File API获取存储空间信息，使用定时任务监控存储空间，使用现有的通知机制发送告警
|
||
|
||
#### 5. 文件清理
|
||
|
||
- **需求描述**: 实现文件清理功能，支持过期文件自动清理和手动清理
|
||
- **优先级**: 高
|
||
- **验收标准**:
|
||
- 文件清理功能正常工作
|
||
- 使用Spring的@Scheduled注解实现定时任务
|
||
- 支持过期文件自动清理
|
||
- 支持手动清理
|
||
- 清理策略可配置
|
||
- 清理日志记录完整
|
||
- 配置项：file.cleanup.retention-days（保留天数）
|
||
- 清理策略：根据文件最后修改时间判断是否过期
|
||
- 清理前记录日志，清理后更新统计信息
|
||
- 提供RESTful API接口支持手动清理
|
||
- 使用Files.walk()方法进行高效的文件遍历
|
||
- 实现IFileCleanupService接口和FileCleanupServiceImpl实现类
|
||
- 实现FileCleanupRequest和FileCleanupResponse DTO类
|
||
- **依赖关系**: 依赖于存储空间管理
|
||
- **实现建议**: 使用定时任务实现自动清理，使用配置文件管理清理策略，提供RESTful API接口支持手动清理
|
||
|
||
#### 6. 存储策略管理
|
||
|
||
- **需求描述**: 实现存储策略管理，支持动态切换存储方式
|
||
- **优先级**: 高
|
||
- **验收标准**:
|
||
- 存储策略管理正常工作
|
||
- 使用策略模式实现不同的存储方式
|
||
- 使用Spring的@ConditionalOnProperty注解根据配置自动选择实现类
|
||
- 支持配置文件动态切换存储方式
|
||
- 配置项：file.storage.type（local/minio/oss）
|
||
- 使用StorageUtils.getPrimaryStorageType()获取主存储类型
|
||
- 使用StorageUtils.getPrimaryStorageBucket()获取主存储桶
|
||
- 使用StorageUtils.getStorageBucket(storageType, bucketName)获取指定存储桶
|
||
- 使用StorageUtils.getClientList()获取所有可用存储渠道及其存储桶列表
|
||
- 支持多种存储方式（local/minio/oss）
|
||
- 存储方式切换不影响业务逻辑
|
||
- **依赖关系**: 依赖于所有文件存储功能
|
||
- **实现建议**: 使用策略模式实现不同的存储方式，通过配置文件动态切换存储方式，使用StorageUtils工具类管理存储策略
|
||
|
||
#### 7. 文件完整性验证
|
||
|
||
- **需求描述**: 实现文件完整性验证功能，确保存储的文件未被篡改
|
||
- **优先级**: 中
|
||
- **验收标准**:
|
||
- 文件完整性验证功能正常工作
|
||
- 支持文件哈希计算（MD5/SHA-256）
|
||
- 支持文件大小验证
|
||
- 支持文件类型验证
|
||
- 支持文件签名验证
|
||
- 验证结果准确
|
||
- 验证失败时记录日志
|
||
- 实现FileValidationUtils工具类
|
||
- 实现FileValidationException异常类
|
||
- **依赖关系**: 依赖于Zip文件存储
|
||
- **实现建议**: 使用Java标准库计算文件哈希，使用文件元数据验证文件完整性
|
||
|
||
## 约束
|
||
|
||
- **技术栈限制**: 必须基于现有的Spring Boot 3 + Vue 3技术栈
|
||
- **架构约束**: 必须遵循Authentication.canvas中定义的架构和调用关系
|
||
- **模块约束**: 必须在datai-salesforce-metadata模块下实现
|
||
- **存储约束**: 必须使用datai-scene-file模块的存储抽象层（StorageBucket接口、StorageUtils工具类）
|
||
- **存储方式约束**: 必须支持多种存储方式（local/minio/oss）
|
||
- **存储接口约束**: 必须使用StorageBucket接口进行文件操作（get、put、remove、generatePresignedUrl、generatePublicUrl等）
|
||
- **存储工具约束**: 必须使用StorageUtils工具类管理存储策略（getPrimaryStorageType、getPrimaryStorageBucket、getStorageBucket、getClientList等）
|
||
- **存储工厂约束**: 必须使用StorageFactory接口管理存储桶（LocalBucketFactory、MinioBucketFactory、OssBucketFactory等）
|
||
- **性能约束**: 必须支持大文件处理（数百MB），内存使用合理
|
||
- **安全约束**: 必须验证路径安全性，防止路径遍历攻击
|
||
- **路径处理约束**: 必须使用Java NIO的Path API处理路径
|
||
- **路径验证约束**: 必须使用path.normalize().startsWith(basePath)验证路径
|
||
- **文件解压约束**: 必须使用ZipInputStream实现流式解压，避免内存溢出
|
||
- **缓冲区约束**: 必须使用BufferedOutputStream写入解压后的文件，缓冲区大小为8192字节
|
||
- **进度跟踪约束**: 必须支持进度回调（ExtractProgressCallback）和解压状态跟踪
|
||
- **取消操作约束**: 必须支持取消操作（通过标志位中断解压过程）
|
||
- **定时任务约束**: 必须使用Spring的@Scheduled注解实现定时任务
|
||
- **调度启用约束**: 必须在启动类上添加@EnableScheduling注解
|
||
- **存储空间监控约束**: 必须使用FileStore.getUsableSpace()获取可用空间
|
||
- **告警通知约束**: 必须使用现有的INotificationService接口发送告警通知
|
||
- **文件清理约束**: 必须使用Files.walk()方法进行高效的文件遍历
|
||
- **清理策略约束**: 必须根据文件最后修改时间判断是否过期
|
||
- **配置项约束**: 必须支持配置项（file.storage.type、file.storage.warning-threshold、file.cleanup.retention-days等）
|
||
- **策略模式约束**: 必须使用策略模式实现不同的存储方式
|
||
- **条件装配约束**: 必须使用Spring的@ConditionalOnProperty注解根据配置自动选择实现类
|
||
- **依赖约束**: 必须依赖于REQ-010-1, REQ-010-2, REQ-010-3, REQ-010-6
|
||
- **分片上传约束**: 必须支持分片上传（initMultipartUpload、uploadPart、completeMultipartUpload）
|
||
- **URL生成约束**: 必须支持生成预签名URL和公开访问URL
|
||
- **权限控制约束**: 必须支持存储权限配置（public/private）
|
||
- **异常处理约束**: 必须实现FileValidationException、FileUploadException等异常类
|
||
- **工具类约束**: 必须实现PathValidator、FileValidationUtils等工具类
|
||
- **DTO约束**: 必须实现FileStorageRequest、FileStorageResponse、FileExtractRequest、FileExtractResponse、FileCleanupRequest、FileCleanupResponse、StorageSpaceInfo等DTO类
|
||
- **枚举约束**: 必须实现StorageType、ExtractStatus等枚举类
|
||
- **服务接口约束**: 必须实现IFileStorageService、IFileExtractService、IStorageMonitorService、IFileCleanupService等服务接口
|
||
- **服务实现约束**: 必须实现LocalStorageService、OssStorageService、FileExtractServiceImpl、StorageMonitorServiceImpl、FileCleanupServiceImpl等服务实现类
|
||
- **文件完整性验证约束**: 必须支持文件哈希计算（MD5/SHA-256）、文件大小验证、文件类型验证、文件签名验证
|
||
|
||
## Rule Set
|
||
|
||
"请严格参考 @Authentication.canvas 中的状态机转移逻辑，不要自行发挥。"
|
||
|
||
**具体规则**：
|
||
- 必须使用Canvas中定义的类名和方法名
|
||
- 必须遵循Canvas中定义的调用关系
|
||
- 必须参考Canvas中的流程图逻辑
|
||
|
||
## 验收标准
|
||
|
||
- **功能完整性**: 所有文件存储和解压功能能够正常工作
|
||
- **性能指标**: 大文件处理不影响系统性能，内存使用合理
|
||
- **安全性**: 路径安全性验证通过，防止路径遍历攻击
|
||
- **代码规范性**: 代码符合项目编码规范，有清晰的注释
|
||
- **可维护性**: 代码结构清晰，易于扩展和维护
|
||
|
||
## 风险
|
||
|
||
- **大文件处理风险**: 大文件处理不当可能导致内存溢出
|
||
- **路径安全风险**: 路径验证不完善可能导致路径遍历攻击
|
||
- **存储空间风险**: 存储空间不足可能导致文件存储失败
|
||
- **文件清理风险**: 文件清理策略不当可能导致重要文件被删除
|
||
- **OSS存储风险**: OSS存储不稳定可能导致文件存储失败
|
||
- **MinIO存储风险**: MinIO存储配置不当可能导致连接失败
|
||
- **本地存储风险**: 本地存储磁盘空间不足可能导致文件存储失败
|
||
- **存储切换风险**: 存储方式切换不当可能导致文件丢失
|
||
- **分片上传风险**: 分片上传失败可能导致文件不完整
|
||
- **URL生成风险**: 预签名URL生成失败可能导致文件无法访问
|
||
- **权限控制风险**: 存储权限配置不当可能导致文件泄露
|
||
- **文件解压风险**: 文件解压失败可能导致数据丢失
|
||
- **进度跟踪风险**: 进度跟踪不准确可能导致用户体验差
|
||
- **取消操作风险**: 取消操作不当可能导致资源泄漏
|
||
- **定时任务风险**: 定时任务配置不当可能导致任务不执行
|
||
- **存储空间监控风险**: 存储空间监控不准确可能导致告警不及时
|
||
- **告警通知风险**: 告警通知发送失败可能导致问题无法及时发现
|
||
- **文件遍历风险**: 文件遍历性能差可能导致系统卡顿
|
||
- **文件完整性验证风险**: 文件完整性验证失败可能导致文件被篡改
|
||
- **哈希计算风险**: 哈希计算错误可能导致文件完整性验证失败
|
||
- **文件类型验证风险**: 文件类型验证失败可能导致恶意文件上传
|
||
- **文件签名验证风险**: 文件签名验证失败可能导致文件被篡改
|
||
- **异常处理风险**: 异常处理不完善可能导致系统崩溃
|
||
- **日志记录风险**: 日志记录不完善可能导致问题排查困难
|
||
- **配置项风险**: 配置项配置不当可能导致功能异常
|
||
- **策略模式风险**: 策略模式实现不当可能导致代码复杂度增加
|
||
- **条件装配风险**: 条件装配配置不当可能导致Bean加载失败
|
||
- **依赖注入风险**: 依赖注入配置不当可能导致空指针异常
|
||
- **并发控制风险**: 并发控制不当可能导致数据不一致
|
||
- **缓冲区大小风险**: 缓冲区大小设置不当可能导致性能下降
|
||
- **跨平台路径风险**: 跨平台路径处理不当可能导致路径错误
|
||
- **正则表达式风险**: 正则表达式配置不当可能导致路径验证失败
|
||
- **文件名验证风险**: 文件名验证不完善可能导致特殊字符文件上传
|
||
- **文件最后修改时间风险**: 文件最后修改时间不准确可能导致清理策略失效
|
||
- **清理策略风险**: 清理策略配置不当可能导致重要文件被删除
|
||
- **统计信息风险**: 统计信息不准确可能导致存储空间管理失效
|
||
- **RESTful API风险**: RESTful API设计不当可能导致接口调用失败
|
||
- **DTO验证风险**: DTO验证不完善可能导致参数错误
|
||
- **枚举类风险**: 枚举类定义不完善可能导致状态管理错误
|
||
- **服务接口风险**: 服务接口定义不完善可能导致功能缺失
|
||
- **服务实现风险**: 服务实现不完善可能导致功能异常
|
||
- **工具类风险**: 工具类实现不完善可能导致功能异常
|
||
- **异常类风险**: 异常类定义不完善可能导致异常处理失败
|
||
- **文件存储服务风险**: 文件存储服务实现不完善可能导致文件存储失败
|
||
- **文件解压服务风险**: 文件解压服务实现不完善可能导致文件解压失败
|
||
- **存储空间监控服务风险**: 存储空间监控服务实现不完善可能导致监控失效
|
||
- **文件清理服务风险**: 文件清理服务实现不完善可能导致清理失败
|
||
- **存储策略管理风险**: 存储策略管理实现不完善可能导致存储方式切换失败
|
||
- **文件完整性验证服务风险**: 文件完整性验证服务实现不完善可能导致验证失败
|
||
|
||
## 需求变更记录
|
||
|
||
| 日期 | 变更内容 | 变更原因 | 变更人 | 审核人 | 状态 |
|
||
|------|---------|---------|--------|--------|------|
|
||
| 2026-01-17 | 创建需求文档 | 初始需求 | 系统管理员 | - | 待审核 |
|
||
|
||
## 相关人员
|
||
|
||
- **需求提出人**: 系统管理员 - 联系方式
|
||
- **需求负责人**: 系统管理员 - 联系方式
|
||
- **技术负责人**: 开发工程师 - 联系方式
|
||
- **测试负责人**: 测试工程师 - 联系方式
|
||
- **其他相关人员**: - 联系方式
|
||
|
||
## 评审信息
|
||
|
||
- **评审日期**: -
|
||
- **评审人员**: -
|
||
- **评审结果**: -
|
||
- **评审意见**: -
|
||
- **修改建议**: -
|