Databricks遷移工作坊：從存儲過程到Lakehouse（5天密集課程）培訓

介紹、目標與遷移策略

• 課程目標、學員背景對齊及成功標準
• 高級遷移方法及風險考量
• 配置工作區、倉庫及實驗室數據集

第1天 — 遷移基礎知識與架構

• Lakehouse概念、Delta Lake概述及Databricks架構
• SMP與MPP的差異及其對遷移的影響
• Medallion（Bronze→Silver→Gold）設計與Unity Catalog概述

第1天實操 — 遷移存儲過程

• 將示例存儲過程遷移至Notebook的實操練習
• 將臨時表與遊標映射為DataFrame轉換操作
• 驗證結果並與原始輸出進行比較

第2天 — 進階Delta Lake與增量加載

• ACID事務、提交日誌、版本控制及時間旅行功能
• Auto Loader、MERGE INTO模式、UPSERT及Schema Evolution
• OPTIMIZE、VACUUM、Z-ORDER、分區及存儲調優

第2天實操 — 增量加載與優化

• 實現Auto Loader加載與MERGE工作流程
• 應用OPTIMIZE、Z-ORDER及VACUUM；驗證結果
• 衡量讀寫性能的改善情況

第3天 — Databricks中的SQL、性能與調試

• 分析型SQL功能：窗口函數、高階函數、JSON/數組處理
• 閱讀Spark UI，解析DAGs、Shuffles、Stage、Task及瓶頸診斷
• 查詢調優模式：Broadcast Joins、Hints、Caching及Spill減少

第3天實操 — SQL重構與性能調優

• 將繁重的SQL過程重構為經過優化的Spark SQL
• 利用Spark UI追蹤數據識別並解決數據偏斜和Shuffle問題
• 進行前後基準測試，並記錄調優步驟

第4天 — 實戰PySpark：替換過程性邏輯

• Spark執行模型：Driver、Executors、惰性求值及分區策略
• 將循環與遊標轉換為向量化DataFrame操作
• 模塊化、UDFs/Pandas UDFs、Widgets及可重用庫

第4天實操 — 重構過程性腳本

• 將過程性ETL腳本重構為模塊化的PySpark Notebook
• 引入參數化、類單元測試方法及可重用函數
• 進行代碼審查並應用最佳實踐清單

第5天 — 編排、端到端管道與最佳實踐

• Databricks Workflows：任務設計、依賴關係、觸發器及錯誤處理
• 設計帶有質量規則與Schema驗證的增量Medallion管道
• 與Git（GitHub或Azure DevOps）、CI及PySpark邏輯測試策略集成

第5天實操 — 構建完整的端到端管道

• 構建由Workflows編排的Bronze→Silver→Gold管道
• 實現日誌記錄、審計、重試機制及自動化驗證
• 運行完整管道，驗證輸出結果並準備部署說明

運營化、治理與生產就緒狀態

• Unity Catalog治理、數據血統及訪問控制最佳實踐
• 成本評估、集群規模、自動擴展及任務併發模式
• 部署檢查清單、回滾策略及運行手冊編寫

最終複習、知識轉移及後續步驟

• 學員分享遷移工作成果與經驗教訓
• 差距分析、推薦後續活動及培訓材料移交
• 參考資料、進階學習路徑及支持選項