使用 BigQuery Migration Service完成資料庫遷移
2022/10/27
本文編譯自:Google Blog
將數據遷移到雲端是一項艱鉅的任務。尤其是從資料庫和遺留環境中移動數據需要系統化的方式。這些遷移通常需要手動操作並且容易出錯,它們很複雜,且涉及多個步驟,例如規劃、系統設置、查詢翻譯、模式分析、數據移動、驗證和性能優化。為了降低風險,遷移需要一種結構化的方法和一致的工具,以幫助遷移結果變得可以預測。
傳統的資料庫遷移:容易出錯、勞動密集型、需要反覆測試
BigQuery 遷移服務:自動評估、翻譯 SQL、傳輸數據和驗證
BigQuery Migration Service 為客戶自動完成大部分遷移過程。它將端到端遷移過程分為四個部分:評估、SQL 轉換、數據傳輸和驗證,客戶通常只需按幾個按鈕即可通過每個階段並縮短遷移時間。在本文章中,將深入探討每個階段,並了解如何降低資料庫遷移的風險和成本。
第 1 步:評估
BigQuery 遷移服務通過分析工作負載和元數據,生成詳細的規劃,其中包含 BigQuery 上的依賴關係、風險和優化遷移狀態的視圖。
在評估階段,BigQuery Migration Service 使用直觀的介面引導客戶完成一系列步驟,並自動生成豐富見解與可操作步驟的 Google 數據洞察報告。評估功能目前可用於 Teradata 和 Redshift,未來將針對其他來源進行擴展。
評估報告:在開始之前了解並消除意外。在開始數據傳輸之前查看據對象並查詢特徵。
第 2 步:SQL 轉換
此階段通常是所有遷移階段最困難的部分。BigQuery 遷移服務提供從大多數 SQL 語言到 BigQuery 的快速、語義正確、人類可讀的翻譯。它可以從 Amazon Redshift SQL、Apache HiveQL、Apache Spark SQL、Azure Synapse T-SQL、IBM Netezza SQL/NZPLSQL、MySQL、Oracle SQL/PL/ 以大量批次處理並與類似 Google 翻譯的互動模式智能翻譯 SQL 語句SQL/Exadata、Presto SQL、PostgreSQL、Snowflake SQL、SQL Server T-SQL、Teradata SQL/SPL/BTEQ 和 Vertica SQL。
與大多數解析表達的現有產品不同,BigQuery 的 SQL 翻譯是基於編譯器,具有高度可客製化的功能來處理替換、用戶定義的函數、輸出名稱和其他數據上下文感知的細微差別。輸出是詳細和規範的,帶有明確的“下一步行動”,利用行業領先的自動化 SQL 翻譯服務,數據工程師和數據分析師節省了無數時間。
批量翻譯:從全面的 SQL 語言列表中自動翻譯並加速大型遷移
互動式翻譯:數據工程師最喜歡的功能,互動式翻譯簡化了重構工作並顯著減少錯誤,同時作為一個很好的學習幫助
第 3 步:數據傳輸
BigQuery 使用簡單的引導功能提供從源系統到 BigQuery 的數據傳輸服務。用戶創建傳輸配置並從下拉列表中選擇數據源。
目標設置引導用戶通過數據源的連接選項,並安全地連接到源系統和目標系統。 BigQuery 數據傳輸的關鍵特性是能夠安排作業,大量數據傳輸會給操作系統帶來額外的負擔並影響數據源。BigQuery Migration Service 可靈活安排傳輸作業在用戶指定的時間執行,以避免對生產環境產生任何不利影響
數據傳輸引導:分步引導用戶將數據從源系統移動到 BigQuery
第 4 步:驗證
此階段可確保在遷移完成後舊源數據和 BigQuery 中的數據保持一致。驗證允許高度可配置且可編排的規則在源系統和 BigQuery 之間執行精細的每行、每列或每表從左到右的比較。標記、聚合、分組和過濾可實現深度驗證。
驗證:BigQuery 遷移服務的安心模組
如果您想利用 BigQuery Migration Service 進行概念驗證或遷移,歡迎聯繫神通資科,將由專業的技術團隊,為您提供評估與遷移的服務。