感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
Apache Airflow 基本面回顧
- 核心概念:DAG、運算符和執行流程
- Airflow 架構和元件
- 了解高級使用案例和工作流程
創建自定義運算子
- 瞭解 Airflow 運算子的剖結構
- 為特定任務開發自定義運算符
- 測試和調試自定義運算符
定製挂鉤和感測器
- 為外部系統集成實現鉤子
- 創建用於監控外部觸發器的感測器
- 使用自定義感測器增強工作流交互性
開發 Airflow 外掛程式
- 瞭解外掛程式架構
- 設計外掛程式以擴展 Airflow 功能
- 管理和部署外掛程式的最佳實踐
將 Airflow 與外部系統整合
- 將 Airflow 連接到資料庫、API 和雲端服務
- 將 Airflow 用於 ETL 工作流和即時數據處理
- 管理 Airflow 和外部系統之間的依賴關係
高級調試和監控
- 使用 Airflow 日誌和指標進行故障排除
- 為工作流問題配置警報和通知
- 將外部監控工具與 Airflow 結合使用
優化性能和 Scala 能力
- 使用 Celery 和 Kubernetes Executor 擴展 Airflow
- 優化複雜工作流程中的資源利用率
- 高可用性和容錯策略
案例研究和實際應用
- 探索數據工程和 DevOps 中的高級用例
- 案例研究:大規模 ETL 的自定義運算子實現
- 管理企業級工作流的最佳實踐
總結和後續步驟
最低要求
- 對 Apache Airflow 基礎知識有深入的理解,包括 DAG、運算符和執行架構
- 熟練掌握 Python 程式設計
- 集成數據系統和工作流編排的經驗
觀眾
- 數據工程師
- DevOps 工程師
- 軟體架構師
21 時間:
客戶評論 (1)
Tons of new things learned. Thanks to Jacek who is very skilled, kind and helping a lot.