kris/datai

Fork 0

Kris 3d290a8dd1 feat：归档当前所有文件

2026-01-28 18:23:25 +08:00

16 KiB

Raw Blame History

Requirements - 文件存储和解压处理

需求信息

需求名称: 文件存储和解压处理
需求类型: 功能需求
需求编号: REQ-010-7
父需求: REQ-010
创建日期: 2026-01-17
需求版本: v1.0.0
需求提出人: 系统管理员
需求状态: 待审核

输入引用

引用相关的 docs 文档链接：

REQ-010.md - Salesforce元数据拉取和部署主需求文档
REQ-010-1.md - 数据库表结构设计和创建
REQ-010-2.md - 基础实体类和Mapper创建
REQ-010-3.md - Salesforce组织配置管理
REQ-010-6.md - 元数据拉取核心功能
010-metadata-retrieve-deploy-sub-requirements.md - REQ-010子需求拆分文档
file/index.md - 文件模块 API 文档索引（唯一真源）

Context Maps

强制列出本次需求依赖的 Canvas 文件：

Authentication.canvas - 项目架构视觉化展示
相关节点: 集成核心 - 提供与Salesforce的各种连接方式

需求目标

实现拉取后的Zip文件存储和解压处理，支持本地文件系统和OSS存储，支持大文件处理。

需求描述

概述

本需求旨在实现拉取后的Zip文件存储和解压处理，包括Zip文件存储、文件解压、文件路径管理、存储空间管理、文件清理等。

详细需求

1. Zip文件存储

需求描述: 实现Zip文件存储功能，使用datai-scene-file模块的存储抽象层
优先级: 高
验收标准:
- Zip文件存储成功
- 使用StorageBucket接口进行文件存储
- 支持本地文件系统存储（LocalBucket）
- 支持MinIO存储（MinioBucket）
- 支持OSS存储（OssBucket）
- 使用StorageUtils.getPrimaryStorageBucket()获取主存储桶
- 使用StorageBucket.put()方法上传文件
- 使用StorageBucket.get()方法获取文件
- 使用StorageBucket.remove()方法删除文件
- 存储路径正确
- 文件完整性验证通过
- 支持分片上传（initMultipartUpload、uploadPart、completeMultipartUpload）
- 支持生成预签名URL（generatePresignedUrl）
- 支持生成公开访问URL（generatePublicUrl）
依赖关系: 依赖于REQ-010-1, REQ-010-2, REQ-010-3, REQ-010-6
实现建议: 使用datai-scene-file模块的StorageBucket接口和StorageUtils工具类，通过配置文件动态切换存储方式（local/minio/oss）

2. 文件解压

需求描述: 实现文件解压功能，支持大文件处理和流式解压
优先级: 高
验收标准:
- 文件解压成功
- 使用ZipInputStream实现流式解压
- 使用BufferedOutputStream写入解压后的文件
- 支持大文件处理（数百MB）
- 支持流式解压，避免内存溢出
- 内存使用合理（缓冲区大小为8192字节）
- 解压文件结构正确
- 支持进度回调（ExtractProgressCallback）
- 支持取消操作（通过标志位中断解压过程）
- 支持解压进度百分比计算
- 支持解压状态跟踪（Pending/Processing/Success/Failed/Cancelled）
依赖关系: 依赖于Zip文件存储
实现建议: 使用ZipInputStream处理大文件，使用流式处理避免内存溢出，实现IFileExtractService接口和FileExtractServiceImpl实现类

3. 文件路径管理

需求描述: 实现文件路径管理，支持路径规范化和安全性验证
优先级: 高
验收标准:
- 文件路径管理正常工作
- 使用Java NIO的Path API处理路径
- 支持路径规范化（path.normalize()）
- 支持路径验证（path.startsWith(basePath)）
- 使用正则表达式验证路径安全性
- 路径格式正确
- 路径安全性验证通过
- 拒绝包含..的路径，防止路径遍历攻击
- 跨平台路径分隔符处理正确
- 实现PathValidator工具类
- 限制文件名（不允许包含特殊字符）
依赖关系: 依赖于文件解压
实现建议: 使用Path API处理路径，使用正则表达式验证路径格式，实现PathValidator工具类

4. 存储空间管理

需求描述: 实现存储空间管理，支持存储空间监控和告警
优先级: 高
验收标准:
- 存储空间管理正常工作
- 使用FileStore.getUsableSpace()获取可用空间
- 使用Spring的@Scheduled注解实现定时任务
- 支持存储空间监控
- 支持存储空间告警
- 存储空间信息准确
- 配置项：file.storage.warning-threshold（告警阈值，如80%）
- 告警通知使用现有的INotificationService接口
- 实现IStorageMonitorService接口和StorageMonitorServiceImpl实现类
- 实现StorageSpaceInfo DTO类
- 在启动类上添加@EnableScheduling注解
依赖关系: 依赖于Zip文件存储
实现建议: 使用File API获取存储空间信息，使用定时任务监控存储空间，使用现有的通知机制发送告警

5. 文件清理

需求描述: 实现文件清理功能，支持过期文件自动清理和手动清理
优先级: 高
验收标准:
- 文件清理功能正常工作
- 使用Spring的@Scheduled注解实现定时任务
- 支持过期文件自动清理
- 支持手动清理
- 清理策略可配置
- 清理日志记录完整
- 配置项：file.cleanup.retention-days（保留天数）
- 清理策略：根据文件最后修改时间判断是否过期
- 清理前记录日志，清理后更新统计信息
- 提供RESTful API接口支持手动清理
- 使用Files.walk()方法进行高效的文件遍历
- 实现IFileCleanupService接口和FileCleanupServiceImpl实现类
- 实现FileCleanupRequest和FileCleanupResponse DTO类
依赖关系: 依赖于存储空间管理
实现建议: 使用定时任务实现自动清理，使用配置文件管理清理策略，提供RESTful API接口支持手动清理

6. 存储策略管理

需求描述: 实现存储策略管理，支持动态切换存储方式
优先级: 高
验收标准:
- 存储策略管理正常工作
- 使用策略模式实现不同的存储方式
- 使用Spring的@ConditionalOnProperty注解根据配置自动选择实现类
- 支持配置文件动态切换存储方式
- 配置项：file.storage.type（local/minio/oss）
- 使用StorageUtils.getPrimaryStorageType()获取主存储类型
- 使用StorageUtils.getPrimaryStorageBucket()获取主存储桶
- 使用StorageUtils.getStorageBucket(storageType, bucketName)获取指定存储桶
- 使用StorageUtils.getClientList()获取所有可用存储渠道及其存储桶列表
- 支持多种存储方式（local/minio/oss）
- 存储方式切换不影响业务逻辑
依赖关系: 依赖于所有文件存储功能
实现建议: 使用策略模式实现不同的存储方式，通过配置文件动态切换存储方式，使用StorageUtils工具类管理存储策略

7. 文件完整性验证

需求描述: 实现文件完整性验证功能，确保存储的文件未被篡改
优先级: 中
验收标准:
- 文件完整性验证功能正常工作
- 支持文件哈希计算（MD5/SHA-256）
- 支持文件大小验证
- 支持文件类型验证
- 支持文件签名验证
- 验证结果准确
- 验证失败时记录日志
- 实现FileValidationUtils工具类
- 实现FileValidationException异常类
依赖关系: 依赖于Zip文件存储
实现建议: 使用Java标准库计算文件哈希，使用文件元数据验证文件完整性

约束

技术栈限制: 必须基于现有的Spring Boot 3 + Vue 3技术栈
架构约束: 必须遵循Authentication.canvas中定义的架构和调用关系
模块约束: 必须在datai-salesforce-metadata模块下实现
存储约束: 必须使用datai-scene-file模块的存储抽象层（StorageBucket接口、StorageUtils工具类）
存储方式约束: 必须支持多种存储方式（local/minio/oss）
存储接口约束: 必须使用StorageBucket接口进行文件操作（get、put、remove、generatePresignedUrl、generatePublicUrl等）
存储工具约束: 必须使用StorageUtils工具类管理存储策略（getPrimaryStorageType、getPrimaryStorageBucket、getStorageBucket、getClientList等）
存储工厂约束: 必须使用StorageFactory接口管理存储桶（LocalBucketFactory、MinioBucketFactory、OssBucketFactory等）
性能约束: 必须支持大文件处理（数百MB），内存使用合理
安全约束: 必须验证路径安全性，防止路径遍历攻击
路径处理约束: 必须使用Java NIO的Path API处理路径
路径验证约束: 必须使用path.normalize().startsWith(basePath)验证路径
文件解压约束: 必须使用ZipInputStream实现流式解压，避免内存溢出
缓冲区约束: 必须使用BufferedOutputStream写入解压后的文件，缓冲区大小为8192字节
进度跟踪约束: 必须支持进度回调（ExtractProgressCallback）和解压状态跟踪
取消操作约束: 必须支持取消操作（通过标志位中断解压过程）
定时任务约束: 必须使用Spring的@Scheduled注解实现定时任务
调度启用约束: 必须在启动类上添加@EnableScheduling注解
存储空间监控约束: 必须使用FileStore.getUsableSpace()获取可用空间
告警通知约束: 必须使用现有的INotificationService接口发送告警通知
文件清理约束: 必须使用Files.walk()方法进行高效的文件遍历
清理策略约束: 必须根据文件最后修改时间判断是否过期
配置项约束: 必须支持配置项（file.storage.type、file.storage.warning-threshold、file.cleanup.retention-days等）
策略模式约束: 必须使用策略模式实现不同的存储方式
条件装配约束: 必须使用Spring的@ConditionalOnProperty注解根据配置自动选择实现类
依赖约束: 必须依赖于REQ-010-1, REQ-010-2, REQ-010-3, REQ-010-6
分片上传约束: 必须支持分片上传（initMultipartUpload、uploadPart、completeMultipartUpload）
URL生成约束: 必须支持生成预签名URL和公开访问URL
权限控制约束: 必须支持存储权限配置（public/private）
异常处理约束: 必须实现FileValidationException、FileUploadException等异常类
工具类约束: 必须实现PathValidator、FileValidationUtils等工具类
DTO约束: 必须实现FileStorageRequest、FileStorageResponse、FileExtractRequest、FileExtractResponse、FileCleanupRequest、FileCleanupResponse、StorageSpaceInfo等DTO类
枚举约束: 必须实现StorageType、ExtractStatus等枚举类
服务接口约束: 必须实现IFileStorageService、IFileExtractService、IStorageMonitorService、IFileCleanupService等服务接口
服务实现约束: 必须实现LocalStorageService、OssStorageService、FileExtractServiceImpl、StorageMonitorServiceImpl、FileCleanupServiceImpl等服务实现类
文件完整性验证约束: 必须支持文件哈希计算（MD5/SHA-256）、文件大小验证、文件类型验证、文件签名验证

Rule Set

"请严格参考 @Authentication.canvas 中的状态机转移逻辑，不要自行发挥。"

具体规则：

必须使用Canvas中定义的类名和方法名
必须遵循Canvas中定义的调用关系
必须参考Canvas中的流程图逻辑

验收标准

功能完整性: 所有文件存储和解压功能能够正常工作
性能指标: 大文件处理不影响系统性能，内存使用合理
安全性: 路径安全性验证通过，防止路径遍历攻击
代码规范性: 代码符合项目编码规范，有清晰的注释
可维护性: 代码结构清晰，易于扩展和维护

风险

大文件处理风险: 大文件处理不当可能导致内存溢出
路径安全风险: 路径验证不完善可能导致路径遍历攻击
存储空间风险: 存储空间不足可能导致文件存储失败
文件清理风险: 文件清理策略不当可能导致重要文件被删除
OSS存储风险: OSS存储不稳定可能导致文件存储失败
MinIO存储风险: MinIO存储配置不当可能导致连接失败
本地存储风险: 本地存储磁盘空间不足可能导致文件存储失败
存储切换风险: 存储方式切换不当可能导致文件丢失
分片上传风险: 分片上传失败可能导致文件不完整
URL生成风险: 预签名URL生成失败可能导致文件无法访问
权限控制风险: 存储权限配置不当可能导致文件泄露
文件解压风险: 文件解压失败可能导致数据丢失
进度跟踪风险: 进度跟踪不准确可能导致用户体验差
取消操作风险: 取消操作不当可能导致资源泄漏
定时任务风险: 定时任务配置不当可能导致任务不执行
存储空间监控风险: 存储空间监控不准确可能导致告警不及时
告警通知风险: 告警通知发送失败可能导致问题无法及时发现
文件遍历风险: 文件遍历性能差可能导致系统卡顿
文件完整性验证风险: 文件完整性验证失败可能导致文件被篡改
哈希计算风险: 哈希计算错误可能导致文件完整性验证失败
文件类型验证风险: 文件类型验证失败可能导致恶意文件上传
文件签名验证风险: 文件签名验证失败可能导致文件被篡改
异常处理风险: 异常处理不完善可能导致系统崩溃
日志记录风险: 日志记录不完善可能导致问题排查困难
配置项风险: 配置项配置不当可能导致功能异常
策略模式风险: 策略模式实现不当可能导致代码复杂度增加
条件装配风险: 条件装配配置不当可能导致Bean加载失败
依赖注入风险: 依赖注入配置不当可能导致空指针异常
并发控制风险: 并发控制不当可能导致数据不一致
缓冲区大小风险: 缓冲区大小设置不当可能导致性能下降
跨平台路径风险: 跨平台路径处理不当可能导致路径错误
正则表达式风险: 正则表达式配置不当可能导致路径验证失败
文件名验证风险: 文件名验证不完善可能导致特殊字符文件上传
文件最后修改时间风险: 文件最后修改时间不准确可能导致清理策略失效
清理策略风险: 清理策略配置不当可能导致重要文件被删除
统计信息风险: 统计信息不准确可能导致存储空间管理失效
RESTful API风险: RESTful API设计不当可能导致接口调用失败
DTO验证风险: DTO验证不完善可能导致参数错误
枚举类风险: 枚举类定义不完善可能导致状态管理错误
服务接口风险: 服务接口定义不完善可能导致功能缺失
服务实现风险: 服务实现不完善可能导致功能异常
工具类风险: 工具类实现不完善可能导致功能异常
异常类风险: 异常类定义不完善可能导致异常处理失败
文件存储服务风险: 文件存储服务实现不完善可能导致文件存储失败
文件解压服务风险: 文件解压服务实现不完善可能导致文件解压失败
存储空间监控服务风险: 存储空间监控服务实现不完善可能导致监控失效
文件清理服务风险: 文件清理服务实现不完善可能导致清理失败
存储策略管理风险: 存储策略管理实现不完善可能导致存储方式切换失败
文件完整性验证服务风险: 文件完整性验证服务实现不完善可能导致验证失败

需求变更记录

日期	变更内容	变更原因	变更人	审核人	状态
2026-01-17	创建需求文档	初始需求	系统管理员	-	待审核

评审信息

评审日期: -
评审人员: -
评审结果: -
评审意见: -
修改建议: -

16 KiB Raw Blame History Unescape Escape