這裡收集了一些對於 GRAVITY 的常見問題,以及相關疑難解答。
不是,GRAVITY 不是大數據平台解決方案。
GRAVITY 和數據中台更關注眾多應用對資料的「供應」和「併發」需要,與大數據平台對「巨量數據」的運算分析和處理需求截然不同。此外,對於企業資料系統和資料管理來說,傳統大數據需求只是眾多應用的其中一個分支,如何將資料有效率供應給大數據平台,並且不傷及其他應用系統效能,也是 GRAVITY 所關注的重點議題。
不是,GRAVITY 並不是資料庫系統或是資料倉儲。
GRAVITY 是資料庫與資料庫之間的中間層,讓分散在不同系統的數據資料,得以自由調度、整合、發佈和快取,以滿足眾多實際應用的需要。
不是,GRAVITY 並不是 ETL 工具。
GRAVITY 能用於強化既有 ETL 機制的 Extract 和 Load 功能,協助改善 ETL 所造成的資料源系統壓力以及增加工作效率。
資料庫抄寫只是 GRAVITY 的眾多功能之一,事實上 GRAVITY 還提供各種強化和擴充資料庫系統的功能,而且可以靈活組裝使用。
運用 GRAVITY 打造的資料系統架構,齉你可以對資料進行一對一抄寫、建立多個副本,也可以針對特定欄位進行快取,甚至進行資料分片、分片副本、分片再分片等都不是問題。異質資料庫的支援,也可以讓你的資料在不同類型資料庫中任意轉移,滿足各類應用的特殊需要。
如果您還是不了解 GRAVITY 可以帶來哪些效益,可以參考我們整理的「解決方案」進行更多暸解。
GRAVITY 的開放原始碼社群版可以免費使用,基本上可以滿足大多數常見的資料調度需求。但如果社群版的功能無法完全滿足您的需求,可以選擇購買企業版本,將有數據中台專家和資料系統顧問為您提供各類服務。
可以,使用 GRAVITY 官方的容器映像檔,你可以直接使用 Docker 進行部署。只要能夠使用容器工具,無論是在本機、虛擬機上,都可以搭建 GRAVITY。
當然可以,GRAVITY 是基於雲原生(Cloud Native)理念所開發,我們所釋出的容器映像檔,也符合各主流容器平台的相關標準。
社群版並沒有這個功能,而企業版(Enterprise Edition)提供 Operater 的部署管理方式,讓使用者可以在 Kuberentes 平台上輕易管理大量的 GRAVITY 管線。
GRAVITY 已經盡量支援常見且主流的資料庫、訊息佇列等系統,如果仍然不幸的,你所需要的資料源或目的資料接收端,不在被支援之列,請不用灰心。有可能你需要的元件正在處於開發中而尚未正式釋出,你除了可以到官方的 GitHub Repo 尋找是否有預覽版元件之外,或是可以尋找是否有第三方的實作。
由於 GRAVITY 有提供標準 SDK,開發者也可以針對自己需求客製自己所需的各種元件,以介接各類資料源、資料庫系統。
但若是您非常急需要支援,也沒有能力自己做,可以購買企業版請 GRAVITY 專家為您客製化處理。
可以,GRAVITY 容許資料節點成為另一條管線的資料源,此設計可以讓資料節點成為原始資料源的代理人,避免資料存取和訂閱需求衝擊原始資料庫。
相關說明可以參考「資料節點對連鏈路」文件。
如果採用建議的 CDC (Change Data Capture)機制收集資料,資料源只有在資料更新時拋出一次變更事件,因此不會對資料源系統造成壓力。
由於資料都是由資料源所提供,資料收集效率取決於資料源提供變更事件的速度。理論上,資料源提供變更事件的效率非常好,約等於資料寫入資料的效率,因此 GRAVITY 收到變更事件的效能表現,近乎資料庫本身的資料寫入效能極限。
不計資料源資料產生的速度以及目標系統寫入的速度,在同網路環境下,每筆資料透過資料源適配器(Adapter)進入 GRAVITY 的資料節點,再透過資料傳輸器(Transmitter)抵達目標系統,約在 0.2 秒至 2 秒左右。