感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
Apache Airflow 基礎回顧
- 核心概念:DAGs、運算子和執行流程
- Airflow 架構與組件
- 理解進階用例和工作流程
建立自訂運算子
- 了解 Airflow 運算子的結構
- 為特定任務開發自訂運算子
- 測試和除錯自訂運算子
自訂鉤子與感應器
- 實作用於整合外部系統的鉤子
- 建立用於監控外部觸發事件的感應器
- 透過自訂感應器增強工作流程的互動性
開發 Airflow 外掛程式
- 了解外掛程式架構
- 設計擴展 Airflow 功能的外掛程式
- 管理和部署外掛程式的最佳實務
與外部系統整合 Airflow
- 將 Airflow 連接至資料庫、API 和雲端服務
- 使用 Airflow 進行 ETL 工作流程和即時資料處理
- 管理 Airflow 與外部系統間的相依性
進階除錯與監控
- 使用 Airflow 日誌和指標進行故障排除
- 配置工作流程問題的通知與警報
- 結合外部監控工具與 Airflow 使用
效能最佳化與延展性
- 使用 Celery 和 Kubernetes Executors 擴展 Airflow
- 最佳化複雜工作流程中的資源運用
- 高可用性與容錯策略
案例研究與實際應用
- 探索資料工程和 DevOps 領域的進階用例
- 案例研究:為大型 ETL 實施自訂運算子
- 管理企業級工作流程的最佳實務
總結與後續步驟
最低要求
- 對 Apache Airflow 基礎有深厚理解,包括 DAGs、運算子和執行架構
- 精通 Python 程式設計
- 具備整合資料系統和工作流協調的經驗
目標受眾
- 資料工程師
- DevOps 工程師
- 軟體架構師
21 小時
客戶評論 (1)
講師根據學員的水平調整了培訓內容,並回答了所有問題。他非常善於溝通,與他互動非常輕鬆。我非常欣賞培訓的形式,其中包含了許多實踐練習。總的來說,這是一次非常引人入勝且組織有序的課程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
課程 - Apache Airflow: Building and Managing Data Pipelines
機器翻譯