課程簡介
Apache Airflow 簡介
- 什麼是工作流程協調？
- Apache Airflow 的關鍵功能與優勢
- Airflow 2.x 的改進內容與生態系概覽
架構與核心概念
- 排程器、Web 伺服器與工作程序
- DAG、任務與運算子
- 執行器與後端（本地、Celery、Kubernetes）
安裝與設定
- 在本地與雲端環境中安裝 Airflow
- 使用不同執行器配置 Airflow
- 設定後設資料資料庫與連線
導覽 Airflow UI 與 CLI
- 探索 Airflow Web 介面
- 監控 DAG 執行、任務與日誌
- 使用 Airflow CLI 進行管理
建立與管理 DAG
- 使用 TaskFlow API 建立 DAG
- 運用運算子、感測器與鉤子
- 管理依賴關係與排程間隔
將 Airflow 整合至資料與雲端服務
- 連線至資料庫、API 與訊息佇列
- 使用 Airflow 執行 ETL 管線
- 雲端整合：AWS、GCP、Azure 運算子
監控與可觀測性
- 任務日誌與即時監控
- 使用 Prometheus 和 Grafana 收集指標
- 透過電子郵件或 Slack 設定警報與通知
保護 Apache Airflow
- 基於角色的存取控制 (RBAC)
- 使用 LDAP、OAuth 和 SSO 進行認證
- 使用 Vault 與雲端金鑰管理系統進行機密資料管理
擴展 Apache Airflow
- 平行處理、並行度與任務佇列
- 使用 CeleryExecutor 與 KubernetesExecutor
- 透過 Helm 在 Kubernetes 上部署 Airflow
生產環境最佳實踐
- DAG 的版本控制與 CI/CD
- DAG 的測試與除錯
- 在大型規模下維持可靠性與效能
問題排除與優化
- 除錯失敗的 DAG 與任務
- 優化 DAG 效能
- 常見陷阱及預防方法
總結與下一步
最低要求
- 具備 Python 程式設計經驗
- 熟悉資料工程或 DevOps 概念
- 了解 ETL 或工作流程協調技術
受眾對象
- 資料科學家
- 資料工程師
- DevOps 與基礎架構工程師
- 軟體開發人員
客戶評論 (7)
講師根據學員的水平調整了培訓內容，並回答了所有問題。他非常善於溝通，與他互動非常輕鬆。我非常欣賞培訓的形式，其中包含了許多實踐練習。總的來說，這是一次非常引人入勝且組織有序的課程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
課程 - Apache Airflow: Building and Managing Data Pipelines
機器翻譯
培訓非常到位，理論和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論知識和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常精準。理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
