kris/datai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
74 Commits 4 Branches 0 Tags 70 MiB
238764c694
Commit Graph

8 Commits

Author SHA1 Message Date
Kris
2d8f9c0aa2 feat: 实现从库数据源注解功能 (REQ-003) 
- 扩展 @DataSource 注解，支持从库数据源的动态切换
- 在 DataSourceAspect 切面中添加动态路由逻辑，通过反射调用 SalesforceConfigCacheManager.getCurrentEnvironmentCode() 方法获取当前激活环境编码
- 构造从库数据源名称（slave_环境编码），检查从库是否存在，存在则切换到从库，不存在则回退到主库
- 缓存 SalesforceConfigCacheManager Bean 和 getCurrentEnvironmentCode Method 对象，优化性能
- 为 8 个方法添加 @DataSource(DataSourceType.SLAVE) 注解：
  - DataiIntegrationObjectServiceImpl.createObjectStructure
  - DataiIntegrationObjectServiceImpl.syncSingleObjectData
  - DataiIntegrationObjectServiceImpl.syncMultipleObjectData
  - DataiIntegrationBatchServiceImpl.syncBatchData
  - DataiIntegrationMetadataChangeServiceImpl.syncToLocalDatabase
  - DataiIntegrationMetadataChangeServiceImpl.syncBatchToLocalDatabase
  - DataSynchronizerImpl.synchronizeData
  - DataSynchronizerImpl.batchSynchronizeData
- 创建需求文档、设计文档、决策记录、提示词文档、会话记录、变更日志、复盘文档和 API 文档
- 更新 CHANGELOG.md 和索引文档
 2026-01-24 23:21:57 +08:00
Kris
21c82a4b36 feat: 添加定时任务功能和文档 
- 新增 4 个定时任务类：
  - ObjectSyncTask: 对象自动同步任务
  - ObjectInsertTask: 对象自动插入任务
  - ObjectUpdateTask: 对象自动更新任务
  - MetadataChangeAutoSyncTask: 元数据变更自动同步任务

- 新增 2 个多对象操作接口：
  - insertMultipleObjectDataToTarget: 批量插入对象数据到目标系统
  - updateMultipleObjectDataToTarget: 批量更新对象数据到目标系统

- 新增完整的定时任务文档：
  - task/index.md: 定时任务文档索引
  - ObjectSyncTask.md: 对象自动同步任务文档
  - ObjectInsertTask.md: 对象自动插入任务文档
  - ObjectUpdateTask.md: 对象自动更新任务文档
  - MetadataChangeAutoSyncTask.md: 元数据变更自动同步任务文档
  - RateLimitResetTask.md: 每日限流重置任务文档

- 新增 API 文档索引：api-docs/index.md

- 更新唯一真源文档中心：docs/index.md

- 新增完整的项目文档：
  - REQ-005.md: 定时任务自动同步、插入和更新对象数据需求
  - REQ-006.md: 元数据变更自动同步本地数据库需求
  - 0005-scheduled-tasks-implementation.md: 定时任务架构决策
  - 0006-metadata-change-auto-sync.md: 元数据变更自动同步架构决策
  - 005-scheduled-tasks-implementation.md: 定时任务实现提示词
  - 006-metadata-change-auto-sync.md: 元数据变更自动同步实现提示词
  - 20260116-scheduled-tasks-implementation.md: 定时任务实现会话记录
  - 20260116-metadata-change-auto-sync.md: 元数据变更自动同步实现会话记录
  - 20260116-scheduled-tasks-implementation-retro.md: 定时任务实现复盘
  - 20260116-metadata-change-auto-sync-retro.md: 元数据变更自动同步实现复盘
  - 0015-scheduled-tasks-implementation.md: 定时任务变更记录
  - 0016-metadata-change-auto-sync.md: 元数据变更自动同步变更记录

- 更新 CHANGELOG.md 和 README.md
 2026-01-16 16:38:35 +08:00
Kris
85f71e1dc3 feat: 实现数据同步进度跟踪功能 
- 新增 SyncProgress 实体类、ISyncProgressService 接口和 SyncProgressServiceImpl 实现类
- 在 DataiIntegrationObjectController 中添加 6 个进度查询接口：
  - 查询指定对象的同步进度
  - 查询所有正在同步的对象进度
  - 查询指定对象的插入进度
  - 查询所有正在插入的对象进度
  - 查询指定对象的更新进度
  - 查询所有正在更新的对象进度
- 在 DataiIntegrationObjectServiceImpl 中集成进度跟踪功能：
  - syncFullData 方法集成同步进度跟踪
  - syncIncrementalData 方法集成同步进度跟踪
  - insertObjectDataToTarget 方法集成插入进度跟踪
  - updateObjectDataToTarget 方法集成更新进度跟踪
- 进度信息存储在内存中（ConcurrentHashMap），任务完成后立即清除
- 新增 3 个需求文档（REQ-002、REQ-003、REQ-004）
- 新增 3 个架构决策记录（0002、0003、0004）
- 新增 3 个提示词文件（002、003、004）
- 新增 3 个会话记录
- 新增 3 个变更记录（0012、0013、0014）
- 新增 3 个复盘报告
- 新增 6 个 API 文档
- 更新 CHANGELOG.md 和 docs/index.md
 2026-01-16 13:02:09 +08:00
Kris
4f01af9025 feat：忽略sql文件 2026-01-14 17:31:25 +08:00
Kris
1af07403fb fix: 修复 setting 模块业务逻辑问题和 NullPointerException 
主要修改：
1. 添加 orgType 字段支持源/目标 ORG 类型隔离
   - DataiConfigAuditLog、DataiConfigEnvironment、DataiConfigSnapshot 添加 orgType 字段
   - 相关 DTO、VO、Mapper XML 同步更新
   - 创建 SQL 脚本：add_org_type_to_*.sql

2. 修复业务逻辑问题
   - SalesforceConfigCacheManager：添加并发安全锁，修复环境初始化查询条件
   - DataiConfigSnapshotServiceImpl：添加快照恢复审计日志记录
   - DataiConfigEnvironmentServiceImpl：完善环境切换的事务回滚机制
   - EnvironmentSwitchListener：移除重复环境切换，移除 @Async 注解
   - ConfigChangeListener：添加空指针检查

3. 修复 NullPointerException
   - DataiConfigurationController.list()：添加 list 空值检查
   - DataiConfigSnapshotController.list()：添加 list 空值检查
   - 过滤 null environmentId 防止 Map 创建失败

4. 生成 API 文档
   - DataiConfigEnvironmentController：切换环境、获取当前环境接口文档
   - DataiConfigSnapshotController：快照管理完整接口文档
   - DataiConfigurationController：配置管理完整接口文档
   - 创建 setting 模块索引：docs/api-docs/setting/index.md

5. 更新文档索引
   - 更新 docs/index.md 添加 setting 模块索引链接
 2026-01-14 14:08:33 +08:00
Kris
ccc7109c31 feat(salesforce-integration): 完善实时同步和统计功能 
主要变更：
- 新增实时同步日志统计接口，支持多维度统计（综合、对象、操作类型、状态、时间趋势）
- 新增实时同步统计接口，提供服务状态、对象统计和订阅统计
- 实现实时服务手动启动管理，移除自动启动注解
- 移除所有统计相关功能（EventProcessor、DataSynchronizer统计方法）
- 解决DataiIntegrationObjectServiceImpl和ObjectRegistryImpl循环依赖问题
- 完善元数据变更统计功能，支持自动时间范围和缺失数据点填充
- 修复SQL布尔值兼容性问题（true/false改为1/0）
- 新增SysJobController和SysJobLogController接口文档
- 更新项目文档和变更日志

技术细节：
- 添加@Lazy注解解决循环依赖
- 实现时间趋势统计的自动时间范围处理
- 支持多种时间单位（天、周、月、季度）的趋势分析
- 优化同步成功率计算和数据处理完整性
- 遵循项目文档规范，更新唯一真源
 2026-01-13 13:51:33 +08:00
Kris
517284b614 feat: 实现Salesforce Pub/Sub API实时数据同步 
主要变更：
- 新增PubSubConnectionFactory连接工厂，提供Pub/Sub API连接管理
- 新增PubSubEventSubscriberImpl实现，支持Pub/Sub API事件订阅
- 更新EventProcessorImpl，添加事件批次处理能力
- 更新RealtimeSyncService，使用Pub/Sub API替代CDC实现
- 更新Authentication.canvas架构文档，添加Pub/Sub组件
- 优化同步配置管理和实时同步日志功能

技术改进：
- 提升实时同步性能和可靠性
- 支持批量事件处理，提高吞吐量
- 完善连接工厂模式，统一管理连接生命周期
 2026-01-12 10:31:25 +08:00
Kris
8a6e65d34f 优化数据同步日志统计功能，增强参数验证和错误处理 2026-01-09 14:24:58 +08:00