Commit Graph

48 Commits

Author SHA1 Message Date
85f71e1dc3 feat: 实现数据同步进度跟踪功能
- 新增 SyncProgress 实体类、ISyncProgressService 接口和 SyncProgressServiceImpl 实现类
- 在 DataiIntegrationObjectController 中添加 6 个进度查询接口:
  - 查询指定对象的同步进度
  - 查询所有正在同步的对象进度
  - 查询指定对象的插入进度
  - 查询所有正在插入的对象进度
  - 查询指定对象的更新进度
  - 查询所有正在更新的对象进度
- 在 DataiIntegrationObjectServiceImpl 中集成进度跟踪功能:
  - syncFullData 方法集成同步进度跟踪
  - syncIncrementalData 方法集成同步进度跟踪
  - insertObjectDataToTarget 方法集成插入进度跟踪
  - updateObjectDataToTarget 方法集成更新进度跟踪
- 进度信息存储在内存中(ConcurrentHashMap),任务完成后立即清除
- 新增 3 个需求文档(REQ-002、REQ-003、REQ-004)
- 新增 3 个架构决策记录(0002、0003、0004)
- 新增 3 个提示词文件(002、003、004)
- 新增 3 个会话记录
- 新增 3 个变更记录(0012、0013、0014)
- 新增 3 个复盘报告
- 新增 6 个 API 文档
- 更新 CHANGELOG.md 和 docs/index.md
2026-01-16 13:02:09 +08:00
a495641e8e feat(integration): 为 DataiIntegrationObject 添加是否同步推送字段
- 新增 isSyncPush 字段,用于标识对象是否需要同步推送到 Salesforce
- 添加字段注释和 Excel 注解
- 添加 getter 和 setter 方法
- 更新 toString 方法

主要变更:
- 在 DataiIntegrationObject 类中添加 isSyncPush 字段
- 添加 setIsSyncPush 和 getIsSyncPush 方法
- 在 toString 方法中添加 isSyncPush 字段输出

SQL 语句:
请执行 docs/sql/add_is_sync_push_column.sql 中的 SQL 语句添加数据库字段
2026-01-15 17:50:24 +08:00
d7687b6b90 docs(salesforce): 更新项目唯一真源 docs/index.md
- 新增技能文档目录索引,包含 11 个技能文档
- 新增参考代码目录索引,包含 data-dump 和 salesforce-pubsub-realtime-sync
- 新增图片资源目录索引
- 优化文档索引结构,提高可读性

主要变更:
- 添加 skill/ 目录索引
- 添加 reference-code/data-dump/ 目录索引
- 添加 picture/ 目录索引
- 更新最后更新时间
2026-01-15 14:13:55 +08:00
55b053346d docs(salesforce): 新增技能文档和优化代码
- 新增 11 个技能文档,指导 AI 完成特定开发任务
- 新增参考代码文件,用于代码分析和重构
- 优化 DataiIntegrationBatchServiceImpl.java,提取常量到 SalesforceConstants.java
- 移动 SessionManager.java 到 auth 模块
- 更新 docs/index.md,添加技能文档索引

主要变更:
- 新增技能文档:Bootstrap、SSOT Hub、信息架构、需求定义、架构决策、提示词资产化、上下文锚定、执行记录、变更归档、闭环复盘、测试提交
- 提取常量:批次处理、状态值、字段名、日志消息等
- 优化代码:改进代码结构和可读性

Related:
- Prompts: docs/prompts/03-创建工作流提示词.md
- Prompts: docs/prompts/07生成技能书提示词.md
2026-01-15 14:09:15 +08:00
f6a97dbf7f feat: 重写insertBatchDataToTarget方法,参考Salesforce数据插入逻辑
- 重写DataiIntegrationBatchServiceImpl中的insertBatchDataToTarget方法
- 参考CommonServiceImpl.java中的Salesforce数据插入逻辑
- 优化字段映射结构,使用List<Map<String, Object>>存储字段映射
- 增加字段过滤,排除is_dump和is_upload等标记字段
- 添加线程休眠机制,避免API限流
- 改进错误处理,增加完整异常堆栈信息
- 添加工作流提示词文档(03-01, 03-02, 03-03)
- 添加Salesforce参考代码(CommonServiceImpl.java, DataImportNewServiceImpl.java)
2026-01-15 12:21:01 +08:00
19b1d1a41a 【feat】 优化项目说明文档 2026-01-14 22:57:15 +08:00
6fa4d36676 feat:移除跟踪无关代码 2026-01-14 18:03:08 +08:00
7c1e493e85 剔除所有sql 2026-01-14 17:48:10 +08:00
c8bbb4fe7a feat:更新许可证 2026-01-14 17:44:04 +08:00
4f01af9025 feat:忽略sql文件 2026-01-14 17:31:25 +08:00
7459f8ab53 feat: 优化 README 文档并完善批次数据管理功能
主要修改:

1. README.md 优化
   - 明确项目当前实现状态(从 Salesforce 同步数据到本地)
   - 添加开发计划,包含 4 个主要方向:
     * 数据推送到目标 Salesforce 系统
     * 源 Salesforce 系统文件下载
     * User 权限同步集成系统
     * 集成可视化报表插件

2. 批次数据管理功能完善
   - DataiIntegrationBatchController: 新增 insertBatchDataToTarget 和 updateBatchDataToTarget 方法
   - IDataiIntegrationBatchService: 添加批次数据插入和更新接口
   - DataiIntegrationBatchServiceImpl: 实现批次数据插入和更新逻辑
   - DataiIntegrationBatch: 添加 new_id、is_insert、is_update 字段
   - DataiIntegrationBatchDto/DataiIntegrationBatchVo: 同步字段定义
   - DataiIntegrationBatchMapper.xml: 添加相关 SQL 映射

3. 文档更新
   - 创建提示词文档:06更新项目说明文档提示词.md
   - 更新 Salesforce 模块文档索引
   - 删除过时文档

4. 配置更新
   - 更新 .gitignore 配置
2026-01-14 17:24:57 +08:00
a383cde260 feat: 优化 autoLogin 接口支持 ORG 类型参数
主要修改:
1. DataISfLoginController.autoLogin() 方法优化
   - 添加 orgType 参数(source/target)支持指定 ORG 类型
   - 使用 selectLatestSuccessLoginHistoryByOrgType() 根据指定 ORG 类型查询登录历史
   - 优化日志输出,明确显示请求的 ORG 类型
   - 改进错误提示,显示未找到哪个 ORG 类型的登录历史

2. 更新接口文档
   - 更新版本号:v1.0 -> v1.1
   - 添加 orgType Query 参数说明
   - 更新请求示例,区分源 ORG 和目标 ORG
   - 更新错误处理,针对不同 ORG 类型提供具体错误信息
   - 更新注意事项,强调必须指定 orgType 参数
   - 更新实现细节,说明根据 orgType 查询对应登录历史
   - 扩展测试用例,覆盖不同 ORG 类型的场景

功能说明:
- 支持源 ORG 和目标 ORG 的独立自动登录
- 源 ORG 和目标 ORG 的登录历史完全隔离
- 通过 orgType 参数精确控制登录哪个 ORG
2026-01-14 15:22:07 +08:00
1af07403fb fix: 修复 setting 模块业务逻辑问题和 NullPointerException
主要修改:
1. 添加 orgType 字段支持源/目标 ORG 类型隔离
   - DataiConfigAuditLog、DataiConfigEnvironment、DataiConfigSnapshot 添加 orgType 字段
   - 相关 DTO、VO、Mapper XML 同步更新
   - 创建 SQL 脚本:add_org_type_to_*.sql

2. 修复业务逻辑问题
   - SalesforceConfigCacheManager:添加并发安全锁,修复环境初始化查询条件
   - DataiConfigSnapshotServiceImpl:添加快照恢复审计日志记录
   - DataiConfigEnvironmentServiceImpl:完善环境切换的事务回滚机制
   - EnvironmentSwitchListener:移除重复环境切换,移除 @Async 注解
   - ConfigChangeListener:添加空指针检查

3. 修复 NullPointerException
   - DataiConfigurationController.list():添加 list 空值检查
   - DataiConfigSnapshotController.list():添加 list 空值检查
   - 过滤 null environmentId 防止 Map 创建失败

4. 生成 API 文档
   - DataiConfigEnvironmentController:切换环境、获取当前环境接口文档
   - DataiConfigSnapshotController:快照管理完整接口文档
   - DataiConfigurationController:配置管理完整接口文档
   - 创建 setting 模块索引:docs/api-docs/setting/index.md

5. 更新文档索引
   - 更新 docs/index.md 添加 setting 模块索引链接
2026-01-14 14:08:33 +08:00
ccc7109c31 feat(salesforce-integration): 完善实时同步和统计功能
主要变更:
- 新增实时同步日志统计接口,支持多维度统计(综合、对象、操作类型、状态、时间趋势)
- 新增实时同步统计接口,提供服务状态、对象统计和订阅统计
- 实现实时服务手动启动管理,移除自动启动注解
- 移除所有统计相关功能(EventProcessor、DataSynchronizer统计方法)
- 解决DataiIntegrationObjectServiceImpl和ObjectRegistryImpl循环依赖问题
- 完善元数据变更统计功能,支持自动时间范围和缺失数据点填充
- 修复SQL布尔值兼容性问题(true/false改为1/0)
- 新增SysJobController和SysJobLogController接口文档
- 更新项目文档和变更日志

技术细节:
- 添加@Lazy注解解决循环依赖
- 实现时间趋势统计的自动时间范围处理
- 支持多种时间单位(天、周、月、季度)的趋势分析
- 优化同步成功率计算和数据处理完整性
- 遵循项目文档规范,更新唯一真源
2026-01-13 13:51:33 +08:00
be3640121c feat: 添加 Pub/Sub API 配置项并优化连接工厂
- 新增 salesforce.pubsub.consumer.key 配置项 (ID: 171)
- 新增 salesforce.pubsub.consumer.secret 配置项 (ID: 172)
- 优化 PubSubConnectionFactory.createStsCredentials 方法,从缓存读取配置值
- 注入 SalesforceConfigCacheManager 依赖
- 添加变更记录文档 0008-pubsub-config-optimization.md
- 更新文档索引
2026-01-12 17:02:32 +08:00
ff25a43b3e fix: 优化Pub/Sub API实时数据同步实现
主要变更:
- 修复了导入包错误,将com.salesforce.eventbus改为com.salesforce.multicloudj
- 重命名PubSubClient为SalesforcePubSubClient,避免与依赖包中的类冲突
- 更新了所有相关文件中的引用,确保使用正确的包和类
- 修复了EventSubscriberImpl.java中缺少的导入语句
- 优化了错误处理和日志记录

技术改进:
- 确保使用正确的Pub/Sub API客户端库
- 提高了代码的可维护性和可读性
- 修复了潜在的运行时错误
- 完善了异常处理机制
2026-01-12 10:50:45 +08:00
517284b614 feat: 实现Salesforce Pub/Sub API实时数据同步
主要变更:
- 新增PubSubConnectionFactory连接工厂,提供Pub/Sub API连接管理
- 新增PubSubEventSubscriberImpl实现,支持Pub/Sub API事件订阅
- 更新EventProcessorImpl,添加事件批次处理能力
- 更新RealtimeSyncService,使用Pub/Sub API替代CDC实现
- 更新Authentication.canvas架构文档,添加Pub/Sub组件
- 优化同步配置管理和实时同步日志功能

技术改进:
- 提升实时同步性能和可靠性
- 支持批量事件处理,提高吞吐量
- 完善连接工厂模式,统一管理连接生命周期
2026-01-12 10:31:25 +08:00
8a6e65d34f 优化数据同步日志统计功能,增强参数验证和错误处理 2026-01-09 14:24:58 +08:00
0c96a2b86b 优化项目规则文件,添加变更记录文档 2026-01-09 09:37:41 +08:00
4b9a5c00f1 chore: commit existing code based on SSOT 2.0 rules 2026-01-08 20:07:14 +08:00
c52a048bbb chore: bootstrap SSOT framework with visual design support 2026-01-08 19:52:43 +08:00
51ffbea77d chore: 建立协作基线与单一真源文档体系 2026-01-07 23:11:44 +08:00
4f0a941ab6 【feat】 初步实现数据同步拉取 2026-01-07 13:52:00 +08:00
cb09602386 【feat】 初步实现数据库同步到本地 2026-01-06 18:54:13 +08:00
a78da492c7 【feat】 对象数据同步本地数据库 2026-01-06 15:14:02 +08:00
cc3a366e01 【feat】 优化元数据变更同步本地 2026-01-05 13:58:16 +08:00
3e3bdcbfcb 【feat】 元数据变更同步本地数据库 2026-01-04 13:51:35 +08:00
18d52e2ad1 【feat】 优化元数据变更同步本地方法 2026-01-03 21:28:13 +08:00
Kris
decbebb4de 【feta】 限流日志表增加日志 2026-01-03 21:11:36 +08:00
547b2c6436 【feat】 提交元数据变更拉取任务 2026-01-03 17:14:03 +08:00
da9ba42769 【feat】 提交优化登录失败信息 2026-01-02 23:10:12 +08:00
67f1674813 【feat】统一增加dto和vo 2026-01-01 02:59:19 +08:00
0c3b945903 【feat】 所有模块初步开发完成 2025-12-31 18:24:54 +08:00
56e0087d07 【feat】 数据集成模块收尾 2025-12-28 14:48:12 +08:00
c18c79cb45 【feat】 API调用监控统计 2025-12-28 10:26:25 +08:00
efd5a37dc7 【feat】 数据集成模块增加元数据变更记录 2025-12-27 19:34:08 +08:00
50634e62af 【feat】 基本实现登录和配置模块 2025-12-26 18:58:50 +08:00
bc27d56c70 【feat】 重构登录管理 2025-12-25 19:34:11 +08:00
ff23864f16 【feat】 重构配置管理模块 2025-12-25 13:41:53 +08:00
db27952e77 【feat】 项目重构,优化页面布局和数据库字段 2025-12-25 10:02:37 +08:00
4ac09837ba 【feat】 初始化数据集成模块 2025-12-22 21:53:27 +08:00
d8827d62eb 【feat】 初始化数据集成模块 2025-12-21 22:46:41 +08:00
8fa01672a6 【feat】 初步实现了账号密码登录 2025-12-21 15:06:19 +08:00
3ac049d88c 【feat】 初始化登录功能 2025-12-14 18:15:34 +08:00
b628132cff 【feat】 初始化登录管理对象 2025-12-14 15:41:32 +08:00
5e3e2a4377 【feat】 初步完成配置管理模块 2025-12-14 14:58:10 +08:00
a27b121491 【feat】 初始化配置对象 2025-12-14 13:23:58 +08:00
5f6aaccad0 【feat】 初始化整个项目 2025-12-14 12:50:08 +08:00