感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
Apache Airflow 基礎回顧
- 核心概念:DAGs(有向無環圖)、任務與算子
- Airflow 架構與組件
- 常見應用場景與工作流複習
最佳化工作流效能
- 識別 Airflow 管線中的瓶頸
- 任務層級的最佳化技術
- 運用任務重試、並行與併發處理
管理複雜相依性
- 定義工作流中的動態相依性
- 處理條件分支工作流
- 有效運用任務群組(Task Groups)與子-DAGs
Apache Airflow 進階功能
- 建立自訂算子與鉤子(Hooks)
- 實作感應器以監聽外部觸發事件
- 整合第三方服務與外掛程式
擴展 Apache Airflow 部署
- 水平與垂直擴展方法
- 使用 Celery Executors 進行分散式執行
- 雲端環境擴展的最佳實踐
工作流監控與除錯
- 配置用於工作流監控的日誌記錄與警示
- 使用 Airflow UI 與 CLI 進行故障排除
- 識別並解決 Airflow 部署中的常見問題
Apache Airflow 安全
- Airflow 中的身份驗證與存取控制
- 保護敏感數據與環境配置
- 實作工作流的稽核追蹤
企業級應用場景與最佳實踐
- 為生產環境設計堅實的工作流
- 利用 Airflow 進行數據工程與 ETL 管線建構
- 探討可擴展 Airflow 部署的真實案例
總結與下一步
最低要求
- 具備 Apache Airflow 基礎知識
- 熟悉 Python 程式設計與工作流協調概念
- 有在 Linux 環境中管理與部署應用程式的經驗
適用對象
- 數據工程師
- DevOps 專業人員
- 軟體開發人員
21 小時
客戶評論 (1)
講師根據學員的水平調整了培訓內容,並回答了所有問題。他非常善於溝通,與他互動非常輕鬆。我非常欣賞培訓的形式,其中包含了許多實踐練習。總的來說,這是一次非常引人入勝且組織有序的課程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
課程 - Apache Airflow: Building and Managing Data Pipelines
機器翻譯