聯繫我們

課程簡介

Apache Airflow 基礎回顧

  • 核心概念:DAGs(有向無環圖)、任務與算子
  • Airflow 架構與組件
  • 常見應用場景與工作流複習

最佳化工作流效能

  • 識別 Airflow 管線中的瓶頸
  • 任務層級的最佳化技術
  • 運用任務重試、並行與併發處理

管理複雜相依性

  • 定義工作流中的動態相依性
  • 處理條件分支工作流
  • 有效運用任務群組(Task Groups)與子-DAGs

Apache Airflow 進階功能

  • 建立自訂算子與鉤子(Hooks)
  • 實作感應器以監聽外部觸發事件
  • 整合第三方服務與外掛程式

擴展 Apache Airflow 部署

  • 水平與垂直擴展方法
  • 使用 Celery Executors 進行分散式執行
  • 雲端環境擴展的最佳實踐

工作流監控與除錯

  • 配置用於工作流監控的日誌記錄與警示
  • 使用 Airflow UI 與 CLI 進行故障排除
  • 識別並解決 Airflow 部署中的常見問題

Apache Airflow 安全

  • Airflow 中的身份驗證與存取控制
  • 保護敏感數據與環境配置
  • 實作工作流的稽核追蹤

企業級應用場景與最佳實踐

  • 為生產環境設計堅實的工作流
  • 利用 Airflow 進行數據工程與 ETL 管線建構
  • 探討可擴展 Airflow 部署的真實案例

總結與下一步

最低要求

  • 具備 Apache Airflow 基礎知識
  • 熟悉 Python 程式設計與工作流協調概念
  • 有在 Linux 環境中管理與部署應用程式的經驗

適用對象

  • 數據工程師
  • DevOps 專業人員
  • 軟體開發人員
 21 小時

人數


每位參與者的報價

客戶評論 (1)

即將到來的課程

課程分類