跳至主要内容

資料整合


資料整合只在透過資料庫連線實現資料即時同步,解決業務系統中資料分散的問題。使用者只需設定欄位映射規則即可實現資料庫與工作表之間、資料庫與資料庫之間的資料同步。它可以用於以下四個場景:

  • 將舊系統的資料批量遷移到該平台
  • 其他系統的資料即時同步到本平台
  • 該平台的資料即時同步到其他資料庫
  • 不同資料庫之間的資料同步

目前支援的資料庫包括:

資料庫作為來源作為目標支援的版本
工作表-
MySQL5.6、5.7、8.0.x
SQL Server2012、2014、2016、2017、2019
Oracle9i、10g、11g、12c+
PostgreSQL9.6、10、11、12+
MongoDB>= 3.6
MariaDB10.3以上版本
IBM DB211.5x
Kafka2.3.x

一、整合步驟概述

在首頁點選左側導覽【整合】 ,進入資料整合。

此功能僅對組織的管理員或應用管理員可見。

二、資料整合的三個步驟

1. 創建連接器

連接器是用於在兩個資料庫和映射欄位之間創建連接的規則。創建連接器時,使用者可以同時為具有相同資料來源的多個工作表創建多個同步任務。

  1. 選擇來源資料類型和目標類型 例如,如果來源資料和目標資料都支援MySQL,則可以實現以下4種資料同步:

    • 將一個工作表中的資料同步到另一個工作表
    • 將資料從 MySQL 資料庫同步到工作表
    • 將工作表中的資料同步到 MySQL 資料庫
    • 將一個MySQL資料庫的資料同步到另一個MySQL資料庫
  2. 設定資料來源和目標

    • 如果是工作表,請選擇該工作表所屬的應用。
    • 如果是外部資料庫,則設定資料庫資訊。 對於外部資料庫,右側列出了設定指南。
  3. 創建同步任務 設定資料庫連線後,選擇資料同步方式。

    • 僅同步資料
    • 同步期間處理資料

    然後,設定欄位映射並點擊右上角的「創建X同步任務」。

    • 每個資料表都需要單獨設定,並且會為每個資料表創建對應的同步任務。
  4. 檢查資料同步

    • 檢查現有工作表中的所有資料是否已同步
    • 更新來源資料表中的資料以查看它們是否已同步
    • 新增一筆資料,查看是否同步

2. 管理同步任務

創建同步任務後,您可以調整相關設定並查看任務的狀態和同步資料。在任務監控頁面,您還可以查看任務的累積時間長度、累積讀寫資料量以及最近一次讀寫資料的折線圖。

2.1 修改任務

2.2 ETL資料處理

ETL增強了資料整合能力,即Extract、Transform和Load,涵蓋了從來源中提取資料、資料處理和轉換,最後將其載入到另一個資料來源的流程。

在資料整合中,有四種方式來處理資料並將資料同步到目標資料庫。

  • 篩選後同步
  • 多表連線後同步
  • 分組匯總後同步
  • 合併資料後同步

ETL簡介

2.3 是否觸發工作流

透過點選同步任務名稱,您可以設定同步資料是否觸發工作流。

2.4 目標表中刪除的資料會同步嗎?

  1. 將來源表的資料同步到目標表A後,如果從A表中刪除了一些資料(不是永久刪除),並且來源表有修改,則這些資料將被恢復並同步到目標表A中。
  2. 如果刪除的資料被永久刪除,修改將不會同步。
  3. 永久刪除資料後,如果您想繼續同步資料,可以創建新的同步任務。

永久刪除是指清空回收站或刪除其中的資料。

3. 管理資料來源

資料來源頁面顯示使用者在創建連接器時所創建的所有資料來源和目標。創建其他同步任務時可以直接使用已創建的資料來源。請放心,使用者在填寫連線資訊時輸入的密碼都會被加密並安全儲存。 HAP 還具有強大的機制來確保這些資訊對開發人員不可見且無法解密。

創建新連接器時,選擇現有資料來源。

三、現場同步規則

1. 無法同步的欄位

不。控制項名稱控制類型編號描述
1大寫25
2評論10010
3免費連結21
4嵌入式45
5部分22
6選項卡52
7關係29多種的
8國外領域30僅同步
9簽名42
10條碼47
11介面查詢49查詢按鈕
12光學字元辨識43
13查詢資料51

2. 現場同步範例

3. 支援同步的系統欄位

序號控件類型欄位名稱控件類型編號欄位ID(係統欄位為固定值)
1文本框記錄ID2rowid
2成員擁有者26ownerid
3成員創建人26caid
4日期和時間創建時間16ctime
5日期和時間最近修改時間16utime
6成員最近修改人26uaid
7文本框流程名稱2wfname
8成員節點負責人26wfcuaids
9成員發起人26wfcaid
10日期和時間發起時間16wfctime
11日期和時間節點開始時間16wfrtime
12公式(日期)剩餘時間38wfftime
13單選流程狀態11wfstatus

四、資料整合範例

  • 範例 1:將資料從一個工作表同步到另一個工作表
  • 範例2:將本機MySQL資料同步到工作表

1. 範例 1:將資料從一個工作表同步到另一個工作表

在組織內,一個工作表中的資料可以同步到目前應用或另一個應用中的工作表。

例如:將客戶 1 工作表中的資料同步到客戶 2 工作表。

1.1 創建連接器

1.選擇資料庫

為資料來源和目標選擇工作表,然後按一下「下一步」。

2.設定來源資料

選擇「客戶 1」工作表所屬的應用程序,然後按一下「下一步」。

此處僅顯示您加入為應用管理員的應用。

3. 設定目的地

選擇客戶 2 工作表所屬的應用。為了演示,我們將兩個工作表放在同一個應用中。按一下「下一步」以創建同步任務。

1.2 創建同步任務

1. 選擇同步方式

選擇【僅同步資料】 。

2. 選擇要同步的工作表

按一下[+ 資料物件]選擇要同步的客戶 1 工作表。

您可以一次選擇多個要同步的工作表,也可以繼續按一下【+資料物件】以新增更多要同步的工作表。

3. 設定與目標工作表的欄位映射

由於「客戶 2」工作表已存在,因此選擇現有工作表。

  • 設定欄位映射。

創建同步任務時,工作表或欄位名稱不能包含下列特殊字元:

``~!@#$%^&*()-+=<>?:"|,./;'[]·!¥…()—《》?:“”【】、;‘,。『』「」`

4.重複資料

您可以選擇一個基礎欄位來識別重複資料。如果該欄位重複,則表示該資料已存在。您可以選擇覆蓋或跳過重複資料。

若勾選【本次同步資料前完全清空目標表資料】,則第一次同步時,客戶2工作表中的資料將會清除。

5.同步資料時是否觸發工作流

同步資料時,可以新增、更新和刪除工作表資料。您可以設定這些操作是否觸發工作流。

6. 新增聯絡人工作表

按一下[+ 資料物件]並選擇聯絡人工作表。

由於目標聯絡人工作表不存在,因此選擇創建新工作表。

  • 設定新工作表的名稱
  • 檢查需要同步的欄位
  • 查看新工作表中的欄位名稱
  • 在新工作表中設定標題欄位

7. 創建同步任務

設定完所有欄位對應後,點選【創建X同步任務】。

創建成功後,會出現一則通知。

8. 檢查資料同步

導覽至客戶 2 工作表,您將在其中看到客戶 1 工作表中的所有資料已同步。

Contacts 2 工作表也會自動創建,資料將同步到其中。

您可以修改客戶 1 工作表中的現有資料或新增資料以檢查修改是否同步到客戶 2 工作表。

從日誌中我們可以看到,同步過程中,資料並不是一次性寫入的,而是分批寫入的。如果當時排隊的任務太多,資料同步可能需要更長的時間。

2. 範例 2:將資料從 MySQL 同步到工作表

2.1 創建連接器

1. 選擇資料來源和目的地

2.設定資料庫連接

連線外部資料庫時,需要進行資料庫版本、權限、IP白名單等設定。

您可以按照右側的設定指南來確保連線成功。

之後,在左側輸入存取資料庫的資訊,點選【測試連接】。成功後,按一下“下一步”。

3. 設定目標資料

選擇資料將同步到的應用程序,然後按一下“下一步”。

2.2 創建同步任務

1. 選擇同步方式:僅同步資料

2.選擇需要同步的資料庫和資料表

3. 選擇目標工作表並設定欄位映射

  • 在這裡創建一個新的工作表。
  • 選擇要同步的欄位。
  • 設定欄位名稱和欄位類型。
  • 設定標題欄位。

之後,點選【創建X個同步任務】。

4. 同步到現有工作表

如果您選擇同步至現有工作表,您可以根據資料中的主鍵識別重複資料,並選擇是否覆蓋或跳過重複資料。

5. 檢查資料同步

當您進入資料整合應用時,您可以看到已創建新的產品工作表並新增了資料。您可以繼續修改MySQL中的資料或新增資料來檢查資料同步。