datai/datai-scenes/datai-scene-salesforce/docs/index.md
Kris 85f71e1dc3 feat: 实现数据同步进度跟踪功能
- 新增 SyncProgress 实体类、ISyncProgressService 接口和 SyncProgressServiceImpl 实现类
- 在 DataiIntegrationObjectController 中添加 6 个进度查询接口:
  - 查询指定对象的同步进度
  - 查询所有正在同步的对象进度
  - 查询指定对象的插入进度
  - 查询所有正在插入的对象进度
  - 查询指定对象的更新进度
  - 查询所有正在更新的对象进度
- 在 DataiIntegrationObjectServiceImpl 中集成进度跟踪功能:
  - syncFullData 方法集成同步进度跟踪
  - syncIncrementalData 方法集成同步进度跟踪
  - insertObjectDataToTarget 方法集成插入进度跟踪
  - updateObjectDataToTarget 方法集成更新进度跟踪
- 进度信息存储在内存中(ConcurrentHashMap),任务完成后立即清除
- 新增 3 个需求文档(REQ-002、REQ-003、REQ-004)
- 新增 3 个架构决策记录(0002、0003、0004)
- 新增 3 个提示词文件(002、003、004)
- 新增 3 个会话记录
- 新增 3 个变更记录(0012、0013、0014)
- 新增 3 个复盘报告
- 新增 6 个 API 文档
- 更新 CHANGELOG.md 和 docs/index.md
2026-01-16 13:02:09 +08:00

222 lines
15 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 单一真源文档中心
## 项目概述
本文件是 Salesforce 集成项目的单一真源入口,包含所有项目相关文档的链接清单。
## 文档目录
### 【视觉看板】
- **架构图**: [Authentication.canvas](../Authentication.canvas) - 项目架构视觉化展示,包含认证、集成、通用和配置模块的详细结构
### 1. 需求文档
- **目录**: [requirements/](requirements/)
- **描述**: 包含项目的功能需求、非功能需求和验收标准
- **需求文档**:
- [0001-salesforce-realtime-sync.md](requirements/0001-salesforce-realtime-sync.md) - Salesforce数据及时同步至本地数据库
- [REQ-002.md](requirements/REQ-002.md) - syncObjectData 同步进度跟踪
- [REQ-003.md](requirements/REQ-003.md) - insertObjectDataToTarget 插入数据进度跟踪
- [REQ-004.md](requirements/REQ-004.md) - updateObjectDataToTarget 更新数据进度跟踪
- [0000-template.md](requirements/0000-template.md) - 需求文档模板
### 2. 设计文档
- **目录**: [design/](design/)
- **描述**: 包含系统架构设计、模块设计和接口设计
- **设计文档**:
- [0001-salesforce-cdc-realtime-sync.md](design/0001-salesforce-cdc-realtime-sync.md) - Salesforce CDC实时同步设计
- [0000-template.md](design/0000-template.md) - 设计文档模板
### 3. 架构决策
- **目录**: [decisions/adr/](decisions/adr/)
- **描述**: 包含架构决策记录 (ADR),记录重要的架构决策过程
- **ADR文档**:
- [0001-salesforce-cdc-sync.md](decisions/adr/0001-salesforce-cdc-sync.md) - Salesforce CDC同步方案
- [0002-sync-progress-tracking.md](decisions/adr/0002-sync-progress-tracking.md) - syncObjectData 同步进度跟踪
- [0003-insert-progress-tracking.md](decisions/adr/0003-insert-progress-tracking.md) - insertObjectDataToTarget 插入数据进度跟踪
- [0004-update-progress-tracking.md](decisions/adr/0004-update-progress-tracking.md) - updateObjectDataToTarget 更新数据进度跟踪
- [0000-template.md](decisions/adr/0000-template.md) - ADR文档模板
### 4. 提示词库
- **目录**: [prompts/](prompts/)
- **描述**: 包含 AI 提示词模板和最佳实践
- **模板**: [0000-template.md](prompts/0000-template.md)
-- **提示词文件**:
- [01创建白板提示词.md](prompts/01创建白板提示词.md)
- [02白板优化提示词.md](prompts/02白板优化提示词.md)
- [03-创建工作流提示词.md](prompts/03-创建工作流提示词.md)
- [04工作流整合白板提示词.md](prompts/04工作流整合白板提示词.md)
- [05创建项目规则提示词.md](prompts/05创建项目规则提示词.md)
- [06更新当前项目README说明文档.md](prompts/06更新当前项目README说明文档.md) - 更新项目README文档的提示词
- [07生成技能书提示词.md](prompts/07生成技能书提示词.md) - 生成技能书提示词
- [002-sync-progress-tracking.md](prompts/002-sync-progress-tracking.md) - syncObjectData 同步进度跟踪实现提示词
- [003-insert-progress-tracking.md](prompts/003-insert-progress-tracking.md) - insertObjectDataToTarget 插入数据进度跟踪实现提示词
- [004-update-progress-tracking.md](prompts/004-update-progress-tracking.md) - updateObjectDataToTarget 更新数据进度跟踪实现提示词
### 5. 技能文档
- **目录**: [skill/](skill/)
- **描述**: 包含项目开发所需的技能文档,指导 AI 完成特定开发任务
- **技能文档**:
- [0001-bootstrap-workflow.md](skill/0001-bootstrap-workflow.md) - 项目协作基线初始化技能
- [0002-establish-ssot-hub.md](skill/0002-establish-ssot-hub.md) - 建立真源中心技能
- [0003-setup-information-architecture.md](skill/0003-setup-information-architecture.md) - 落地信息架构技能
- [0004-define-requirements.md](skill/0004-define-requirements.md) - 需求定义与入库技能
- [0005-architecture-decision.md](skill/0005-architecture-decision.md) - 架构决策技能
- [0006-prompt-engineering.md](skill/0006-prompt-engineering.md) - 提示词资产化技能
- [0007-context-anchoring.md](skill/0007-context-anchoring.md) - 上下文锚定技能
- [0008-execution-logging.md](skill/0008-execution-logging.md) - 执行与记录技能
- [0009-changelog-archiving.md](skill/0009-changelog-archiving.md) - 变更记录与归档技能
- [0010-retrospective.md](skill/0010-retrospective.md) - 闭环复盘技能
- [0011-verification-commit.md](skill/0011-verification-commit.md) - 测试与版本提交技能
### 6. 会话记录
- **目录**: [sessions/](sessions/)
- **描述**: 包含每次重要操作的会话记录
- **会话记录**:
- [20260116-sync-progress-tracking.md](sessions/20260116-sync-progress-tracking.md) - syncObjectData 同步进度跟踪实现
- [20260116-insert-progress-tracking.md](sessions/20260116-insert-progress-tracking.md) - insertObjectDataToTarget 插入数据进度跟踪实现
- [20260116-update-progress-tracking.md](sessions/20260116-update-progress-tracking.md) - updateObjectDataToTarget 更新数据进度跟踪实现
- [20260109-salesforce-cdc-sync.md](sessions/20260109-salesforce-cdc-sync.md) - Salesforce CDC实时同步实现
- [YYYYMMDD-template.md](sessions/YYYYMMDD-template.md) - 会话记录模板
### 6. 迭代复盘
- **目录**: [retros/](retros/)
- **描述**: 包含每个迭代的复盘报告
- **复盘报告**:
- [20260116-sync-progress-tracking.md](retros/20260116-sync-progress-tracking.md) - syncObjectData 同步进度跟踪实现复盘
- [20260116-insert-progress-tracking-retro.md](retros/20260116-insert-progress-tracking-retro.md) - insertObjectDataToTarget 插入数据进度跟踪实现复盘
- [20260116-update-progress-tracking-retro.md](retros/20260116-update-progress-tracking-retro.md) - updateObjectDataToTarget 更新数据进度跟踪实现复盘
- [YYYYMMDD-template.md](retros/YYYYMMDD-template.md) - 复盘报告模板
### 7. 变更日志
- **目录**: [changelog/](changelog/)
- **描述**: 包含详细的变更记录
- **变更记录文档**:
- [0001-core-components-implementation.md](changelog/0001-core-components-implementation.md) - 核心组件实现
- [0002-database-structure-adjustment.md](changelog/0002-database-structure-adjustment.md) - 数据库结构调整
- [0003-sync-configuration-management.md](changelog/0003-sync-configuration-management.md) - 同步配置管理实现
- [0004-realtime-sync-log-enhancement.md](changelog/0004-realtime-sync-log-enhancement.md) - 实时同步日志功能完善
- [0005-testing-and-verification.md](changelog/0005-testing-and-verification.md) - 测试和验证
- [0006-documentation-improvement.md](changelog/0006-documentation-improvement.md) - 文档完善
- [0007-pubsub-api-implementation.md](changelog/0007-pubsub-api-implementation.md) - Salesforce Pub/Sub API 实时同步功能实现
- [0008-pubsub-config-optimization.md](changelog/0008-pubsub-config-optimization.md) - Pub/Sub API 配置项添加与连接工厂优化
- [0009-realtime-service-manual-start.md](changelog/0009-realtime-service-manual-start.md) - 实时服务手动启动管理
- [0010-realtime-sync-statistics.md](changelog/0010-realtime-sync-statistics.md) - 实时同步统计接口
- [0011-target-org-login-functionality.md](changelog/0011-target-org-login-functionality.md) - 目标ORG登录功能实现
- [0012-sync-progress-tracking.md](changelog/0012-sync-progress-tracking.md) - syncObjectData 同步进度跟踪实现
- [0013-insert-progress-tracking.md](changelog/0013-insert-progress-tracking.md) - insertObjectDataToTarget 插入数据进度跟踪实现
- [0014-update-progress-tracking.md](changelog/0014-update-progress-tracking.md) - updateObjectDataToTarget 更新数据进度跟踪实现
- [0000-template.md](changelog/0000-template.md) - 变更记录模板
### 8. 接口文档
- **目录**: [api-docs/](api-docs/)
- **描述**: 包含提供给前端调用的接口文档
- **模块索引**:
- [Setting 模块接口索引](api-docs/setting/index.md) - 配置管理相关接口索引
- **接口文档**:
- [DataISfLoginController](api-docs/auth/DataISfLoginController/) - Salesforce登录认证接口
- [DataiIntegrationRealtimeSyncController](api-docs/integration/DataiIntegrationRealtimeSyncController/) - 实时同步服务管理接口
- [DataiIntegrationObjectController](api-docs/integration/DataiIntegrationObjectController/) - 对象同步控制接口(新增进度查询接口)
- [DataiIntegrationBatchController](api-docs/integration/DataiIntegrationBatchController/) - 批次同步控制接口
- [DataiIntegrationMetadataChangeController](api-docs/integration/DataiIntegrationMetadataChangeController/) - 元数据变更控制接口
- [RealtimeServiceController](api-docs/integration/RealtimeServiceController/) - 实时服务管理接口
- [DataiConfigAuditLogController](api-docs/setting/DataiConfigAuditLogController/) - 配置审计日志管理接口
- [DataiConfigEnvironmentController](api-docs/setting/DataiConfigEnvironmentController/) - 配置环境管理接口
- [DataiConfigSnapshotController](api-docs/setting/DataiConfigSnapshotController/) - 配置快照管理接口
- [DataiConfigurationController](api-docs/setting/DataiConfigurationController/) - 配置管理接口
- [SysJobController](api-docs/monitor/SysJobController/) - 定时任务管理接口
- [SysJobLogController](api-docs/monitor/SysJobLogController/) - 定时任务日志管理接口
### 9. SQL文件
- **目录**: [sql/](sql/)
- **描述**: 包含数据库结构和初始化SQL文件
- **SQL文件**:
- [create-realtime-sync-log-table.sql](sql/create-realtime-sync-log-table.sql) - 实时同步日志表创建SQL
- [add_is_realtime_sync_column.sql](sql/add_is_realtime_sync_column.sql) - 添加实时同步列SQL
- [add_is_partitioned_column.sql](sql/add_is_partitioned_column.sql) - 添加分区列SQL
- [datai_table.sql](sql/datai_table.sql) - 数据表初始化SQL
### 10. 参考代码
- **目录**: [reference-code/](reference-code/)
- **描述**: 包含项目参考代码和示例实现
- **参考代码**:
- **data-dump**: [data-dump/](reference-code/data-dump/) - 数据导出参考代码
- [CommonServiceImpl.java](reference-code/data-dump/CommonServiceImpl.java) - Salesforce 数据插入逻辑参考
- [DataImportNewServiceImpl.java](reference-code/data-dump/DataImportNewServiceImpl.java) - 数据导入服务实现参考
- **salesforce-pubsub-realtime-sync**: [salesforce-pubsub-realtime-sync/](reference-code/salesforce-pubsub-realtime-sync/) - Salesforce Pub/Sub 实时同步参考代码
- **001-implement**: [001-implement/](reference-code/salesforce-pubsub-realtime-sync/001-implement/) - 实时同步实现
- [realtime/](reference-code/salesforce-pubsub-realtime-sync/001-implement/realtime/) - 实时同步核心接口和实现
- **multicloudj组件**: [multicloudj/](reference-code/salesforce-pubsub-realtime-sync/multicloudj/)
- **来源**: 从 `com.salesforce.multicloudj:pubsub-client:0.2.10` 依赖编译而来
- **包含模块**:
- multicloudj-common-0.2.10: 通用异常处理和工具类
- pubsub-client-0.2.10: Pub/Sub API 客户端实现
- sts-client-0.2.10: STS 客户端实现
- **使用说明**: 往后直接使用 `com.salesforce.multicloudj:pubsub-client:0.2.10` 依赖,可参考此组件中的代码实现
- **核心功能**: 提供了订阅 Salesforce Event Bus、处理事件、管理连接等功能的封装
### 11. 图片资源
- **目录**: [picture/](picture/)
- **描述**: 包含项目相关的图片资源
- **图片文件**:
- [image.png](picture/image.png) - 项目架构图
- [img.png](picture/img.png) - 流程图
- [img_1.png](picture/img_1.png) - 流程图1
- [img_2.png](picture/img_2.png) - 流程图2
- [img_3.png](picture/img_3.png) - 流程图3
- [img_4.png](picture/img_4.png) - 流程图4
- [img_5.png](picture/img_5.png) - 流程图5
## 协作基线文件
- **README.md**: [../README.md](../README.md) - 项目目标和真源入口
- **CONTRIBUTING.md**: [../CONTRIBUTING.md](../CONTRIBUTING.md) - 协作规则
- **CHANGELOG.md**: [../CHANGELOG.md](../CHANGELOG.md) - 变更摘要
## 导航说明
- 本文件是项目文档的唯一入口,所有文档变更必须在此添加链接
- 文档间引用必须使用相对路径链接
- 新文档必须使用相应目录中的模板文件
## 最后更新
- 更新时间: 2026-01-16
- 更新内容:
- 新增 REQ-002 需求文档 - syncObjectData 同步进度跟踪
- 新增 0002-sync-progress-tracking.md 架构决策记录 - syncObjectData 同步进度跟踪
- 新增 002-sync-progress-tracking.md 提示词资产 - syncObjectData 同步进度跟踪实现
- 新增 20260116-sync-progress-tracking.md 会话记录 - syncObjectData 同步进度跟踪实现
- 新增 0012-sync-progress-tracking.md 变更记录 - syncObjectData 同步进度跟踪实现
- 新增 20260116-sync-progress-tracking.md 复盘报告 - syncObjectData 同步进度跟踪实现复盘
- 新增 5 个 Java 代码文件 - SyncProgress、ISyncProgressService、SyncProgressServiceImpl、DataiIntegrationObjectController更新、DataiIntegrationObjectServiceImpl更新
- 新增 REQ-003 需求文档 - insertObjectDataToTarget 插入数据进度跟踪
- 新增 0003-insert-progress-tracking.md 架构决策记录 - insertObjectDataToTarget 插入数据进度跟踪
- 新增 003-insert-progress-tracking.md 提示词资产 - insertObjectDataToTarget 插入数据进度跟踪实现
- 新增 20260116-insert-progress-tracking.md 会话记录 - insertObjectDataToTarget 插入数据进度跟踪实现
- 新增 0013-insert-progress-tracking.md 变更记录 - insertObjectDataToTarget 插入数据进度跟踪实现
- 新增 20260116-insert-progress-tracking-retro.md 复盘报告 - insertObjectDataToTarget 插入数据进度跟踪实现复盘
- 更新 CHANGELOG.md - 添加 v0.1.13 版本变更
- 更新 2 个 Java 代码文件 - DataiIntegrationObjectController更新、DataiIntegrationObjectServiceImpl更新
- 新增 REQ-004 需求文档 - updateObjectDataToTarget 更新数据进度跟踪
- 新增 0004-update-progress-tracking.md 架构决策记录 - updateObjectDataToTarget 更新数据进度跟踪
- 新增 004-update-progress-tracking.md 提示词资产 - updateObjectDataToTarget 更新数据进度跟踪实现
- 新增 20260116-update-progress-tracking.md 会话记录 - updateObjectDataToTarget 更新数据进度跟踪实现
- 新增 0014-update-progress-tracking.md 变更记录 - updateObjectDataToTarget 更新数据进度跟踪实现
- 新增 20260116-update-progress-tracking-retro.md 复盘报告 - updateObjectDataToTarget 更新数据进度跟踪实现复盘
- 更新 CHANGELOG.md - 添加 v0.1.14 版本变更
- 更新 2 个 Java 代码文件 - DataiIntegrationObjectController更新、DataiIntegrationObjectServiceImpl更新
- 新增 2 个 API 文档 - 0014-query-update-progress.md、0015-query-all-update-progress.md