Commit Graph

61 Commits

Author SHA1 Message Date
dd4efbd4e1 feat: [012] 环境有效性字段功能 2026-01-23 13:29:49 +08:00
64fbaac7b5 feat:文件上传下载及变更环境配置对应京东云 2026-01-20 11:29:24 +08:00
8287b5e2c2 docs: 创建REQ-011(Salesforce文件上传下载功能)需求文档
- 阶段1:需求定义与入库 - 创建需求文档 REQ-011.md
- 需求描述:在 datai-salesforce-integration 模块新增一个 controller,实现 Salesforce 的文件指定 org 上传下载功能
- 详细需求包括:
  - 文件上传功能:实现本地文件上传到 Salesforce Attachment 对象
  - 文件下载功能:实现从 Salesforce Attachment 对象下载文件到本地
  - 指定组织配置:支持用户指定组织配置 ID
  - 错误处理机制:实现完善的错误处理机制
- 参考 Attachment文件上传.md、Attachment文件下载.md、CommonServiceImpl.java 中的实现逻辑
- 更新 index.md,将新需求添加到需求文档表格
- 所有文档均按照SSOT方法论创建
2026-01-19 11:18:19 +08:00
395bb71c21 docs: 完成REQ-010-6(元数据拉取核心功能)的所有6个阶段
- 阶段1:需求定义与入库 - 更新 index.md,标记 REQ-010-6 为阶段1-需求定义与入库
- 阶段2:方案决策 - 创建 ADR 文档:0015-metadata-retrieve-core.md
- 阶段3:提示词资产化 - 创建 Prompt 文档:006-metadata-retrieve-core.md
- 阶段4:执行会话与代码生成 - 创建会话记录:20260119-metadata-retrieve-core.md
- 阶段5:变更记录与归档 - 创建变更记录:20260119-metadata-retrieve-core.md
- 阶段6:闭环复盘 - 创建复盘报告:20260119-metadata-retrieve-core-retro.md
- 更新 index.md,标记 REQ-010-6 为已完成
- 更新 CHANGELOG.md,添加 元数据拉取核心功能的变更记录

所有文档均按照SSOT方法论创建,包括需求定义、架构决策、提示词资产化、执行会话、变更记录 和闭环复盘。
2026-01-19 11:10:28 +08:00
1c9f73421f docs: 完成REQ-010-5(Metadata API客户端封装)的所有6个阶段
- 阶段1:需求定义与入库 - 更新 index.md,标记 REQ-010-5 为阶段1-需求定义与入库
- 阶段2:方案决策 - 创建 ADR 文档:0014-metadata-api-client.md
- 阶段3:提示词资产化 - 创建 Prompt 文档:005-metadata-api-client.md
- 阶段4:执行会话与代码生成 - 创建会话记录:20260119-metadata-api-client.md
- 阶段5:变更记录与归档 - 创建变更记录:20260119-metadata-api-client.md
- 阶段6:闭环复盘 - 创建复盘报告:20260119-metadata-api-client-retro.md
- 更新 index.md,标记 REQ-010-5 为已完成
- 更新 CHANGELOG.md,添加 Metadata API客户端封装的变更记录

所有文档均按照SSOT方法论创建,包括需求定义、架构决策、提示词资产化、执行会话、变更记录 和闭环复盘。
2026-01-19 11:00:41 +08:00
fd7b894663 docs: 完成REQ-010-4(元数据任务定义管理)的所有6个阶段
- 阶段1:需求定义与入库 - 更新 index.md,标记 REQ-010-4 为阶段1-需求定义与入库
- 阶段2:方案决策 - 创建 ADR 文档:0013-metadata-task-management.md
- 阶段3:提示词资产化 - 创建 Prompt 文档:004-metadata-task-management.md
- 阶段4:执行会话与代码生成 - 创建会话记录:20260119-metadata-task-management.md
- 阶段5:变更记录与归档 - 创建变更记录:20260119-metadata-task-management.md
- 阶段6:闭环复盘 - 创建复盘报告:20260119-metadata-task-management-retro.md
- 更新 index.md,标记 REQ-010-4 为已完成
- 更新 CHANGELOG.md,添加元数据任务定义管理的变更记录

所有文档均按照SSOT方法论创建,包括需求定义、架构决策、提示词资产化、执行会话、变更记录和闭环复盘。
2026-01-19 10:42:52 +08:00
d1b007f8d9 【feat】 修改项目结构 2026-01-19 10:29:36 +08:00
77e9a47e91 docs: 完成REQ-010-3(Salesforce组织配置管理)的所有6个阶段
- 阶段1:需求定义与入库 - 更新 index.md,标记 REQ-010-3 为阶段1-需求定义与入库
- 阶段2:方案决策 - 创建 ADR 文档:0012-org-config-management.md
- 阶段3:提示词资产化 - 创建 Prompt 文档:003-org-config-management.md
- 阶段4:执行会话与代码生成 - 创建会话记录:20260119-org-config-management.md
- 阶段5:变更记录与归档 - 创建变更记录:20260119-org-config-management.md
- 阶段6:闭环复盘 - 创建复盘报告:20260119-org-config-management-retro.md
- 更新 index.md,标记 REQ-010-3 为已完成
- 更新 CHANGELOG.md,添加 Salesforce组织配置管理的变更记录

所有文档均按照SSOT方法论创建,包括需求定义、架构决策、提示词资产化、执行会话、变更记录和闭环复盘。
2026-01-19 10:26:08 +08:00
3dde4fb6d7 docs: 完成REQ-010-2(基础实体类和Mapper创建)的所有6个阶段
- 阶段4:执行会话与代码生成 - 创建会话记录:20260118-entity-mapper-create.md
- 阶段5:变更记录与归档 - 创建变更记录:20260118-entity-mapper-create.md
- 阶段6:闭环复盘 - 创建复盘报告:20260118-entity-mapper-create-retro.md
- 更新 index.md,标记 REQ-010-2 为已完成
- 更新 CHANGELOG.md,添加基础实体类和Mapper创建的变更记录

所有文档均按照SSOT方法论创建,包括需求定义、架构决策、提示词资产化、执行会话、变更记录和闭环复盘。
2026-01-19 10:15:21 +08:00
2e6f087732 docs: 完成REQ-010-17和REQ-010-2的文档创建
- 完成REQ-010-17(性能优化和限流处理)的所有6个阶段
  - 创建ADR文档:0026-performance-optimization.md
  - 创建Prompt文档:027-performance-optimization.md
  - 创建会话记录:20260119-performance-optimization.md
  - 创建变更记录:20260119-performance-optimization.md
  - 创建复盘报告:20260119-performance-optimization-retro.md
  - 更新index.md和CHANGELOG.md

- 完成REQ-010-2(基础实体类和Mapper创建)的前3个阶段
  - 更新ADR文档:0011-entity-mapper-create.md
  - 创建Prompt文档:002-entity-mapper-create.md
  - 更新index.md

所有文档均按照SSOT方法论创建,包括需求定义、架构决策、提示词资产化、执行会话、变更记录和闭环复盘。
2026-01-19 10:06:09 +08:00
19168db4a4 refactor: REQ-010-1 optimize database table design from 6 to 9 tables
Changes:
- Add 3 new tables (datai_meta_package_item, datai_meta_component_version, datai_meta_deploy_component_result)
- Optimize 6 existing tables to better match business requirements
- Update all related documents to maintain complete documentation chain

New tables:
1. datai_meta_package_item - Metadata package definition details
2. datai_meta_component_version - Metadata version content table
3. datai_meta_deploy_component_result - Deployment component result details

Documentation updates:
- Update REQ-010-1.md requirements document
- Update 0010-database-table-design.md ADR
- Update 20260117-database-table-design-create.md session record
- Update 0020-database-table-design-create.md changelog
- Update 20260117-database-table-design-create-retro.md retrospective
- Update docs/index.md to maintain complete documentation index
2026-01-18 20:13:13 +08:00
469c78cf29 feat: REQ-010-1 完成数据库表结构设计和创建,REQ-010-2 完成基础实体类和Mapper创建需求定义和架构决策
REQ-010-1 完成内容:
- 创建 6 个数据库表设计(datai_meta_org_config、datai_meta_task、datai_meta_job_execution、datai_meta_component、datai_meta_deploy_history、datai_meta_job_log)
- 设计了合理的索引策略
- 对敏感字段进行了加密存储设计
- 表名前缀统一为 datai_meta_
- 所有表包含标准基础字段

REQ-010-2 完成内容:
- 补充用户故事和细化验收标准
- 创建架构决策记录(MyBatis Plus 注解 + XML 映射文件混合方案)
- 对比了 3 种备选方案
- 分析了决策对系统架构、开发流程、运维管理的影响
- 识别了技术风险、业务风险和实施风险
- 定义了回滚策略和验收标准

文档更新:
- 创建 0010-database-table-design.md 架构决策记录
- 创建 0011-entity-mapper-create.md 架构决策记录
- 创建 0020-database-table-design-create.md 变更记录
- 创建 20260117-database-table-design-create.md 会话记录
- 创建 20260117-database-table-design-create-retro.md 复盘报告
- 创建 011-database-table-design-create.md 提示词文档
- 更新 REQ-010-2.md 需求文档
- 更新 docs/index.md 和 CHANGELOG.md
2026-01-18 19:44:13 +08:00
21c82a4b36 feat: 添加定时任务功能和文档
- 新增 4 个定时任务类:
  - ObjectSyncTask: 对象自动同步任务
  - ObjectInsertTask: 对象自动插入任务
  - ObjectUpdateTask: 对象自动更新任务
  - MetadataChangeAutoSyncTask: 元数据变更自动同步任务

- 新增 2 个多对象操作接口:
  - insertMultipleObjectDataToTarget: 批量插入对象数据到目标系统
  - updateMultipleObjectDataToTarget: 批量更新对象数据到目标系统

- 新增完整的定时任务文档:
  - task/index.md: 定时任务文档索引
  - ObjectSyncTask.md: 对象自动同步任务文档
  - ObjectInsertTask.md: 对象自动插入任务文档
  - ObjectUpdateTask.md: 对象自动更新任务文档
  - MetadataChangeAutoSyncTask.md: 元数据变更自动同步任务文档
  - RateLimitResetTask.md: 每日限流重置任务文档

- 新增 API 文档索引:api-docs/index.md

- 更新唯一真源文档中心:docs/index.md

- 新增完整的项目文档:
  - REQ-005.md: 定时任务自动同步、插入和更新对象数据需求
  - REQ-006.md: 元数据变更自动同步本地数据库需求
  - 0005-scheduled-tasks-implementation.md: 定时任务架构决策
  - 0006-metadata-change-auto-sync.md: 元数据变更自动同步架构决策
  - 005-scheduled-tasks-implementation.md: 定时任务实现提示词
  - 006-metadata-change-auto-sync.md: 元数据变更自动同步实现提示词
  - 20260116-scheduled-tasks-implementation.md: 定时任务实现会话记录
  - 20260116-metadata-change-auto-sync.md: 元数据变更自动同步实现会话记录
  - 20260116-scheduled-tasks-implementation-retro.md: 定时任务实现复盘
  - 20260116-metadata-change-auto-sync-retro.md: 元数据变更自动同步实现复盘
  - 0015-scheduled-tasks-implementation.md: 定时任务变更记录
  - 0016-metadata-change-auto-sync.md: 元数据变更自动同步变更记录

- 更新 CHANGELOG.md 和 README.md
2026-01-16 16:38:35 +08:00
85f71e1dc3 feat: 实现数据同步进度跟踪功能
- 新增 SyncProgress 实体类、ISyncProgressService 接口和 SyncProgressServiceImpl 实现类
- 在 DataiIntegrationObjectController 中添加 6 个进度查询接口:
  - 查询指定对象的同步进度
  - 查询所有正在同步的对象进度
  - 查询指定对象的插入进度
  - 查询所有正在插入的对象进度
  - 查询指定对象的更新进度
  - 查询所有正在更新的对象进度
- 在 DataiIntegrationObjectServiceImpl 中集成进度跟踪功能:
  - syncFullData 方法集成同步进度跟踪
  - syncIncrementalData 方法集成同步进度跟踪
  - insertObjectDataToTarget 方法集成插入进度跟踪
  - updateObjectDataToTarget 方法集成更新进度跟踪
- 进度信息存储在内存中(ConcurrentHashMap),任务完成后立即清除
- 新增 3 个需求文档(REQ-002、REQ-003、REQ-004)
- 新增 3 个架构决策记录(0002、0003、0004)
- 新增 3 个提示词文件(002、003、004)
- 新增 3 个会话记录
- 新增 3 个变更记录(0012、0013、0014)
- 新增 3 个复盘报告
- 新增 6 个 API 文档
- 更新 CHANGELOG.md 和 docs/index.md
2026-01-16 13:02:09 +08:00
a495641e8e feat(integration): 为 DataiIntegrationObject 添加是否同步推送字段
- 新增 isSyncPush 字段,用于标识对象是否需要同步推送到 Salesforce
- 添加字段注释和 Excel 注解
- 添加 getter 和 setter 方法
- 更新 toString 方法

主要变更:
- 在 DataiIntegrationObject 类中添加 isSyncPush 字段
- 添加 setIsSyncPush 和 getIsSyncPush 方法
- 在 toString 方法中添加 isSyncPush 字段输出

SQL 语句:
请执行 docs/sql/add_is_sync_push_column.sql 中的 SQL 语句添加数据库字段
2026-01-15 17:50:24 +08:00
d7687b6b90 docs(salesforce): 更新项目唯一真源 docs/index.md
- 新增技能文档目录索引,包含 11 个技能文档
- 新增参考代码目录索引,包含 data-dump 和 salesforce-pubsub-realtime-sync
- 新增图片资源目录索引
- 优化文档索引结构,提高可读性

主要变更:
- 添加 skill/ 目录索引
- 添加 reference-code/data-dump/ 目录索引
- 添加 picture/ 目录索引
- 更新最后更新时间
2026-01-15 14:13:55 +08:00
55b053346d docs(salesforce): 新增技能文档和优化代码
- 新增 11 个技能文档,指导 AI 完成特定开发任务
- 新增参考代码文件,用于代码分析和重构
- 优化 DataiIntegrationBatchServiceImpl.java,提取常量到 SalesforceConstants.java
- 移动 SessionManager.java 到 auth 模块
- 更新 docs/index.md,添加技能文档索引

主要变更:
- 新增技能文档:Bootstrap、SSOT Hub、信息架构、需求定义、架构决策、提示词资产化、上下文锚定、执行记录、变更归档、闭环复盘、测试提交
- 提取常量:批次处理、状态值、字段名、日志消息等
- 优化代码:改进代码结构和可读性

Related:
- Prompts: docs/prompts/03-创建工作流提示词.md
- Prompts: docs/prompts/07生成技能书提示词.md
2026-01-15 14:09:15 +08:00
f6a97dbf7f feat: 重写insertBatchDataToTarget方法,参考Salesforce数据插入逻辑
- 重写DataiIntegrationBatchServiceImpl中的insertBatchDataToTarget方法
- 参考CommonServiceImpl.java中的Salesforce数据插入逻辑
- 优化字段映射结构,使用List<Map<String, Object>>存储字段映射
- 增加字段过滤,排除is_dump和is_upload等标记字段
- 添加线程休眠机制,避免API限流
- 改进错误处理,增加完整异常堆栈信息
- 添加工作流提示词文档(03-01, 03-02, 03-03)
- 添加Salesforce参考代码(CommonServiceImpl.java, DataImportNewServiceImpl.java)
2026-01-15 12:21:01 +08:00
19b1d1a41a 【feat】 优化项目说明文档 2026-01-14 22:57:15 +08:00
6fa4d36676 feat:移除跟踪无关代码 2026-01-14 18:03:08 +08:00
7c1e493e85 剔除所有sql 2026-01-14 17:48:10 +08:00
c8bbb4fe7a feat:更新许可证 2026-01-14 17:44:04 +08:00
4f01af9025 feat:忽略sql文件 2026-01-14 17:31:25 +08:00
7459f8ab53 feat: 优化 README 文档并完善批次数据管理功能
主要修改:

1. README.md 优化
   - 明确项目当前实现状态(从 Salesforce 同步数据到本地)
   - 添加开发计划,包含 4 个主要方向:
     * 数据推送到目标 Salesforce 系统
     * 源 Salesforce 系统文件下载
     * User 权限同步集成系统
     * 集成可视化报表插件

2. 批次数据管理功能完善
   - DataiIntegrationBatchController: 新增 insertBatchDataToTarget 和 updateBatchDataToTarget 方法
   - IDataiIntegrationBatchService: 添加批次数据插入和更新接口
   - DataiIntegrationBatchServiceImpl: 实现批次数据插入和更新逻辑
   - DataiIntegrationBatch: 添加 new_id、is_insert、is_update 字段
   - DataiIntegrationBatchDto/DataiIntegrationBatchVo: 同步字段定义
   - DataiIntegrationBatchMapper.xml: 添加相关 SQL 映射

3. 文档更新
   - 创建提示词文档:06更新项目说明文档提示词.md
   - 更新 Salesforce 模块文档索引
   - 删除过时文档

4. 配置更新
   - 更新 .gitignore 配置
2026-01-14 17:24:57 +08:00
a383cde260 feat: 优化 autoLogin 接口支持 ORG 类型参数
主要修改:
1. DataISfLoginController.autoLogin() 方法优化
   - 添加 orgType 参数(source/target)支持指定 ORG 类型
   - 使用 selectLatestSuccessLoginHistoryByOrgType() 根据指定 ORG 类型查询登录历史
   - 优化日志输出,明确显示请求的 ORG 类型
   - 改进错误提示,显示未找到哪个 ORG 类型的登录历史

2. 更新接口文档
   - 更新版本号:v1.0 -> v1.1
   - 添加 orgType Query 参数说明
   - 更新请求示例,区分源 ORG 和目标 ORG
   - 更新错误处理,针对不同 ORG 类型提供具体错误信息
   - 更新注意事项,强调必须指定 orgType 参数
   - 更新实现细节,说明根据 orgType 查询对应登录历史
   - 扩展测试用例,覆盖不同 ORG 类型的场景

功能说明:
- 支持源 ORG 和目标 ORG 的独立自动登录
- 源 ORG 和目标 ORG 的登录历史完全隔离
- 通过 orgType 参数精确控制登录哪个 ORG
2026-01-14 15:22:07 +08:00
1af07403fb fix: 修复 setting 模块业务逻辑问题和 NullPointerException
主要修改:
1. 添加 orgType 字段支持源/目标 ORG 类型隔离
   - DataiConfigAuditLog、DataiConfigEnvironment、DataiConfigSnapshot 添加 orgType 字段
   - 相关 DTO、VO、Mapper XML 同步更新
   - 创建 SQL 脚本:add_org_type_to_*.sql

2. 修复业务逻辑问题
   - SalesforceConfigCacheManager:添加并发安全锁,修复环境初始化查询条件
   - DataiConfigSnapshotServiceImpl:添加快照恢复审计日志记录
   - DataiConfigEnvironmentServiceImpl:完善环境切换的事务回滚机制
   - EnvironmentSwitchListener:移除重复环境切换,移除 @Async 注解
   - ConfigChangeListener:添加空指针检查

3. 修复 NullPointerException
   - DataiConfigurationController.list():添加 list 空值检查
   - DataiConfigSnapshotController.list():添加 list 空值检查
   - 过滤 null environmentId 防止 Map 创建失败

4. 生成 API 文档
   - DataiConfigEnvironmentController:切换环境、获取当前环境接口文档
   - DataiConfigSnapshotController:快照管理完整接口文档
   - DataiConfigurationController:配置管理完整接口文档
   - 创建 setting 模块索引:docs/api-docs/setting/index.md

5. 更新文档索引
   - 更新 docs/index.md 添加 setting 模块索引链接
2026-01-14 14:08:33 +08:00
ccc7109c31 feat(salesforce-integration): 完善实时同步和统计功能
主要变更:
- 新增实时同步日志统计接口,支持多维度统计(综合、对象、操作类型、状态、时间趋势)
- 新增实时同步统计接口,提供服务状态、对象统计和订阅统计
- 实现实时服务手动启动管理,移除自动启动注解
- 移除所有统计相关功能(EventProcessor、DataSynchronizer统计方法)
- 解决DataiIntegrationObjectServiceImpl和ObjectRegistryImpl循环依赖问题
- 完善元数据变更统计功能,支持自动时间范围和缺失数据点填充
- 修复SQL布尔值兼容性问题(true/false改为1/0)
- 新增SysJobController和SysJobLogController接口文档
- 更新项目文档和变更日志

技术细节:
- 添加@Lazy注解解决循环依赖
- 实现时间趋势统计的自动时间范围处理
- 支持多种时间单位(天、周、月、季度)的趋势分析
- 优化同步成功率计算和数据处理完整性
- 遵循项目文档规范,更新唯一真源
2026-01-13 13:51:33 +08:00
be3640121c feat: 添加 Pub/Sub API 配置项并优化连接工厂
- 新增 salesforce.pubsub.consumer.key 配置项 (ID: 171)
- 新增 salesforce.pubsub.consumer.secret 配置项 (ID: 172)
- 优化 PubSubConnectionFactory.createStsCredentials 方法,从缓存读取配置值
- 注入 SalesforceConfigCacheManager 依赖
- 添加变更记录文档 0008-pubsub-config-optimization.md
- 更新文档索引
2026-01-12 17:02:32 +08:00
ff25a43b3e fix: 优化Pub/Sub API实时数据同步实现
主要变更:
- 修复了导入包错误,将com.salesforce.eventbus改为com.salesforce.multicloudj
- 重命名PubSubClient为SalesforcePubSubClient,避免与依赖包中的类冲突
- 更新了所有相关文件中的引用,确保使用正确的包和类
- 修复了EventSubscriberImpl.java中缺少的导入语句
- 优化了错误处理和日志记录

技术改进:
- 确保使用正确的Pub/Sub API客户端库
- 提高了代码的可维护性和可读性
- 修复了潜在的运行时错误
- 完善了异常处理机制
2026-01-12 10:50:45 +08:00
517284b614 feat: 实现Salesforce Pub/Sub API实时数据同步
主要变更:
- 新增PubSubConnectionFactory连接工厂,提供Pub/Sub API连接管理
- 新增PubSubEventSubscriberImpl实现,支持Pub/Sub API事件订阅
- 更新EventProcessorImpl,添加事件批次处理能力
- 更新RealtimeSyncService,使用Pub/Sub API替代CDC实现
- 更新Authentication.canvas架构文档,添加Pub/Sub组件
- 优化同步配置管理和实时同步日志功能

技术改进:
- 提升实时同步性能和可靠性
- 支持批量事件处理,提高吞吐量
- 完善连接工厂模式,统一管理连接生命周期
2026-01-12 10:31:25 +08:00
8a6e65d34f 优化数据同步日志统计功能,增强参数验证和错误处理 2026-01-09 14:24:58 +08:00
0c96a2b86b 优化项目规则文件,添加变更记录文档 2026-01-09 09:37:41 +08:00
4b9a5c00f1 chore: commit existing code based on SSOT 2.0 rules 2026-01-08 20:07:14 +08:00
c52a048bbb chore: bootstrap SSOT framework with visual design support 2026-01-08 19:52:43 +08:00
51ffbea77d chore: 建立协作基线与单一真源文档体系 2026-01-07 23:11:44 +08:00
4f0a941ab6 【feat】 初步实现数据同步拉取 2026-01-07 13:52:00 +08:00
cb09602386 【feat】 初步实现数据库同步到本地 2026-01-06 18:54:13 +08:00
a78da492c7 【feat】 对象数据同步本地数据库 2026-01-06 15:14:02 +08:00
cc3a366e01 【feat】 优化元数据变更同步本地 2026-01-05 13:58:16 +08:00
3e3bdcbfcb 【feat】 元数据变更同步本地数据库 2026-01-04 13:51:35 +08:00
18d52e2ad1 【feat】 优化元数据变更同步本地方法 2026-01-03 21:28:13 +08:00
Kris
decbebb4de 【feta】 限流日志表增加日志 2026-01-03 21:11:36 +08:00
547b2c6436 【feat】 提交元数据变更拉取任务 2026-01-03 17:14:03 +08:00
da9ba42769 【feat】 提交优化登录失败信息 2026-01-02 23:10:12 +08:00
67f1674813 【feat】统一增加dto和vo 2026-01-01 02:59:19 +08:00
0c3b945903 【feat】 所有模块初步开发完成 2025-12-31 18:24:54 +08:00
56e0087d07 【feat】 数据集成模块收尾 2025-12-28 14:48:12 +08:00
c18c79cb45 【feat】 API调用监控统计 2025-12-28 10:26:25 +08:00
efd5a37dc7 【feat】 数据集成模块增加元数据变更记录 2025-12-27 19:34:08 +08:00
50634e62af 【feat】 基本实现登录和配置模块 2025-12-26 18:58:50 +08:00