資料整合
資料整合只在透過資料庫連線實現資料即時同步,解決業務系統中資料分散的問題。使用者只需設定欄位映射規則即可實現資料庫與工作表之間、資料庫與資料庫之間的資料同步。它可以用於以下四個場景:
- 將舊系統的資料批量遷移到該平台
- 其他系統的資料即時同步到本平台
- 該平台的資料即時同步到其他資料庫
- 不同資料庫之間的資料同步
目前支援的資料庫包括:
資料庫 | 作為來源 | 作為目標 | 支援的版本 |
---|---|---|---|
工作表 | ✅ | ✅ | - |
MySQL | ✅ | ✅ | 5.6、5.7、8.0.x |
SQL Server | ✅ | ✅ | 2012、2014、2016、2017、2019 |
Oracle | ✅ | ❌ | 9i、10g、11g、12c+ |
PostgreSQL | ✅ | ✅ | 9.6、10、11、12+ |
MongoDB | ✅ | ✅ | >= 3.6 |
MariaDB | ✅ | ✅ | 10.3以上版本 |
IBM DB2 | ✅ | ❌ | 11.5x |
Kafka | ✅ | ❌ | 2.3.x |
一、整合步驟概述
在首頁點選左側導覽【整合】 ,進入資料整合。
此功能僅對組織的管理員或應用管理員可見。
二、資料整合的三個步驟
1. 創建連接器
連接器是用於在兩個資料庫和映射欄位之間創建連接的規則。創建連接器時,使用者可以同時為具有相同資料來源的多個工作表創建多個同步任務。
-
選擇來源資料類型和目標類型
例如,如果來源資料和目標資料都支援MySQL,則可以實現以下4種資料同步:
- 將一個工作表中的資料同步到另一個工作表
- 將資料從 MySQL 資料庫同步到工作表
- 將工作表中的資料同步到 MySQL 資料庫
- 將一個MySQL資料庫的資料同步到另一個MySQL資料庫
-
設定資料來源和目標
- 如果是工作表,請選擇該工作表所屬的應用。
- 如果是外部資料庫,則設定資料庫資訊。
對於外部資料庫,右側列出了設定指南。
- 如果是工作表,請選擇該工作表所屬的應用。
-
創建同步任務 設定資料庫連線後,選擇資料同步方式。
- 僅同步資料
- 同步期間處理資料
然後,設定欄位映射並點擊右上角的「創建X同步任務」。
- 每個資料表都需要單獨設定,並且會為每個資料表創建對應的同步任務。
-
檢查資料同步
- 檢查現有工作表中的所有資料是否已同步
- 更新來源資料表中的資料以查看它們是否已同步
- 新增一筆資料,查看是否同步
2. 管理同步任務
創建同步任務後,您可以調整相關設定並查看任務的狀態和同步資料。在任務監控頁面,您還可以查看任務的累積時間長度、累積讀寫資料量以及最近一次讀寫資料的折線圖。
2.1 修改任務
2.2 ETL資料處理
ETL增強了資料整合能力,即Extract、Transform和Load,涵蓋了從來源中提取資料、資料處理和轉換,最後將其載入到另一個資料來源的流程。
在資料整合中,有四種方式來處理資料並將資料同步到目標資料庫。
- 篩選後同步
- 多表連線後同步
- 分組匯總後同步
- 合併資料後同步
2.3 是否觸發工作流
透過點選同步任務名稱,您可以設定同步資料是否觸發工作流。
2.4 目標表中刪除的資料會同步嗎?
- 將來源表的資料同步到目標表A後,如果從A表中刪除了一些資料(不是永久刪除),並且來源表有修改,則這些資料將被恢復並同步到目標表A中。
- 如果刪除的資料被永久刪除,修改將不會同步。
- 永久刪除資料後,如果您想繼續同步資料,可以創建新的同步任務。
永久刪除是指清空回收站或刪除其中的資料。
3. 管理資料來源
資料來源頁面顯示使用者在創建連接器時所創建的所有資料來源和目標。創建其他同步任務時可以直接使用已創建的資 料來源。請放心,使用者在填寫連線資訊時輸入的密碼都會被加密並安全儲存。 HAP 還具有強大的機制來確保這些資訊對開發人員不可見且無法解密。
創建新連接器時,選擇現有資料來源。
三、現場同步規則
1. 無法同步的欄位
不。 | 控制項名稱 | 控制類型編號 | 描述 |
---|---|---|---|
1 | 大寫 | 25 | |
2 | 評論 | 10010 | |
3 | 免費連結 | 21 | |
4 | 嵌入式 | 45 | |
5 | 部分 | 22 | |
6 | 選項卡 | 52 | |
7 | 關係 | 29 | 多種的 |
8 | 國外領域 | 30 | 僅同步 |
9 | 簽名 | 42 | |
10 | 條碼 | 47 | |
11 | 介面查詢 | 49 | 查詢按鈕 |
12 | 光學字元辨識 | 43 | |
13 | 查詢資料 | 51 |