多資料來源的聚合與關聯工作也是在傳統資料處理上常見的工作之一,但一直以來其處理效率都不會太好且缺乏平行處理能力。原因是因爲查詢工作需要往返於多個來源之間,產生的額外開銷相對就比較多,其往返成本與問題較單一查詢來得更爲明顯。
我們在處理傳統的資料源聚合與關聯工作時,通常會遇到如下這些問題:
在導入 GRAVITY 之後,我們可以利用不同的管線將各資料源的資料拉進快取,並利用 CDC 的事件通知功能及時同步變更資料,如此在 GRAVITY 數據中台裡面就能獲得所有資料源的最新資料。然後根據應用端訂閱的要求(最小粒度可以精細到“欄位”)把資料彙整後,再建立新的管線將聚合好的資料落到應用端的專屬資料庫即可。
如此一來,資料源就不再會遭受大量的關聯查詢衝擊,而程式端也不需要設計復雜的關聯作業而更能專注於本身的業務邏輯即可。更重要的是,由於數據中台所發揮的資料供給效率的提升,整個資料系統相關的資料庫與應用程式都能同時享受到效能提升的好處!
有了 GRAVITY 數據中台的支援,各種原有的復雜查詢機制與流程都可大幅簡化,主要體現爲如下這些要點: