聯繫我們

課程簡介

Apache Airflow 基礎回顧

  • 核心概念:DAGs、運算子和執行流程
  • Airflow 架構與組件
  • 理解進階用例和工作流程

建立自訂運算子

  • 了解 Airflow 運算子的結構
  • 為特定任務開發自訂運算子
  • 測試和除錯自訂運算子

自訂鉤子與感應器

  • 實作用於整合外部系統的鉤子
  • 建立用於監控外部觸發事件的感應器
  • 透過自訂感應器增強工作流程的互動性

開發 Airflow 外掛程式

  • 了解外掛程式架構
  • 設計擴展 Airflow 功能的外掛程式
  • 管理和部署外掛程式的最佳實務

與外部系統整合 Airflow

  • 將 Airflow 連接至資料庫、API 和雲端服務
  • 使用 Airflow 進行 ETL 工作流程和即時資料處理
  • 管理 Airflow 與外部系統間的相依性

進階除錯與監控

  • 使用 Airflow 日誌和指標進行故障排除
  • 配置工作流程問題的通知與警報
  • 結合外部監控工具與 Airflow 使用

效能最佳化與延展性

  • 使用 Celery 和 Kubernetes Executors 擴展 Airflow
  • 最佳化複雜工作流程中的資源運用
  • 高可用性與容錯策略

案例研究與實際應用

  • 探索資料工程和 DevOps 領域的進階用例
  • 案例研究:為大型 ETL 實施自訂運算子
  • 管理企業級工作流程的最佳實務

總結與後續步驟

最低要求

  • 對 Apache Airflow 基礎有深厚理解,包括 DAGs、運算子和執行架構
  • 精通 Python 程式設計
  • 具備整合資料系統和工作流協調的經驗

目標受眾

  • 資料工程師
  • DevOps 工程師
  • 軟體架構師
 21 小時

人數


每位參與者的報價

客戶評論 (1)

即將到來的課程

課程分類