Kettle根据时间戳同步数据实现

  • 时间:
  • 浏览:6
  • 来源:大发快3_快3概率_大发快3概率

不可能 Kettle自身的特殊性以及在多个步骤中kettle自身避免数据库事务的特殊性,尝试了越来不多种方案,最终选折 暂使用如下方案。

1、使用此方案还都还后能 避免kettle有一种 数据库事务的缺点

2、使用此方案还都还后能 避免支队多个表中一同往一张总表中同步数据时,取时间戳不准的问題。

3、配置时,每个支队的数据汇聚时,都单独配置一4个多 转换作业任务。

4、Kettle支持字段映射,转换,以及作业定时运行等。

A)清空临时表

B)读取交换时间

C)读取前要交换的数据

D)更新到临时表

E)插入更新到目标表

F)更新时间

1、单次同步数据量大时,不可能 前要一同更新两次表,传输波特率不可能 会比较低

2、不可能 采用单次限制数据记录量,不可能 Kettle有一种 不支持数据分页,当数据表不可能 发生小量数据记录的时间戳都相一同,不可能 会导致 要素数据无法同步过来。

【原文归作者所有,欢迎转载,后来保留版权】