Databricks 遷移工作坊：從儲存程序到 Lakehouse（5 天密集型訓練）培訓

簡介、目標與遷移策略

• 課程目標、參與者背景匹配及成功標準
• 高層級的遷移方法與風險考量
• 工作區、儲存庫及實驗室數據集的設定

第 1 天 — 遷移基礎與架構

• Lakehouse 概念、Delta Lake 概覽及 Databricks 架構
• SMP 與 MPP 的差異及其對遷移的影響
• Medallion（青銅→白銀→黃金）設計及 Unity Catalog 概覽

第 1 天實作 — 轉換儲存程序

• 將樣本儲存程序遷移至筆記本的實作
• 將臨時表格（temp tables）及游標（cursors）對應至 DataFrame 轉換
• 驗證並與原始輸出進行比較

第 2 天 — 進階 Delta Lake 與增量載入

• ACID 交易、提交日誌（commit logs）、版本控制及時間旅行（time travel）
• Auto Loader、MERGE INTO 模式、Upserts 及模式演進（schema evolution）
• OPTIMIZE、VACUUM、Z-ORDER、分區（partitioning）及儲存調優

第 2 天實作 — 增量攝取與優化

• 實施 Auto Loader 攝取及 MERGE 工作流程
• 套用 OPTIMIZE、Z-ORDER 及 VACUUM；驗證結果
• 衡量讀取/寫入性能的提升

第 3 天 — Databricks 中的 SQL、性能與除錯

• 分析型 SQL 功能：窗口函數、高階函數、JSON/陣列處理
• 閱讀 Spark UI、DAG、Shuffle、階段（stages）、任務（tasks）及瓶頸診斷
• 查詢調優模式：廣播連接（broadcast joins）、提示（hints）、快取（caching）及減少溢寫（spill reduction）

第 3 天實作 — SQL 重構與性能調優

• 將高負載的 SQL 過程重構為優化的 Spark SQL
• 使用 Spark UI 追蹤記錄識別並修復數據傾斜（skew）及 shuffle 問題
• 進行前後基準測試並記錄調優步驟

第 4 天 — 戰術性 PySpark：取代程序化邏輯

• Spark 執行模型：驅動程序（driver）、執行器（executors）、懶計算（lazy evaluation）及分區策略
• 將循環（loops）及游標轉換為向量化（vectorized）DataFrame 操作
• 模組化、UDF/pandas UDF、小工具（widgets）及可重用庫

第 4 天實作 — 重構程序化腳本

• 將程序化 ETL 腳本重構為模組化的 PySpark 筆記本
• 引入參數化、單元式測試（unit-style tests）及可重用函數
• 代碼審查及套用最佳實踐清單

第 5 天 — 編排、端到端管線與最佳實踐

• Databricks Workflows：任務設計、任務依賴、觸發器及錯誤處理
• 設計具有質量規則及模式驗證的增量 Medallion 管線
• 與 Git（GitHub/Azure DevOps）、CI 及 PySpark 邏輯的測試策略整合

第 5 天實作 — 建構完整的端到端管線

• 組裝由 Workflows 編排的青銅→白銀→黃金管線
• 實施記錄日誌（logging）、稽核（auditing）、重試（retries）及自動化驗證
• 執行完整管線、驗證輸出並準備部署說明

操作化、治理與生產就緒

• Unity Catalog 治理、血緣（lineage）及存取控制的 best practices
• 成本、集群大小調整（cluster sizing）、自動縮放（autoscaling）及任務併發模式
• 部署清單、回滾策略（rollback strategies）及運行手册（runbook）創建

最終審查、知識轉移與後續步驟

• 參與者展示遷移工作及學習經驗
• 差距分析、建議的後續活動及培訓材料交付
• 參考資料、進一步學習路徑及支援選項