課程簡介
Apache Airflow 簡介
- 何謂工作流協同
- Apache Airflow 的關鍵特性與優勢
- Airflow 2.x 的改進與生態系概覽
架構與核心概念
- 排程器、Web 伺服器與工作程序
- DAG、任務與操作員 (Operators)
- 執行器與後端 (Local, Celery, Kubernetes)
安裝與設定
- 在本地與雲端環境中安裝 Airflow
- 使用不同執行器配置 Airflow
- 設定中繼資料資料庫與連線
導覽 Airflow UI 與 CLI
- 探索 Airflow Web 介面
- 監控 DAG 執行、任務與日誌
- 使用 Airflow CLI 進行管理
編寫與管理 DAG
- 使用 TaskFlow API 建立 DAG
- 使用操作員 (Operators)、感測器 (Sensors) 與掛鉤 (Hooks)
- 管理相依關係與排程間隔
整合 Airflow 與資料及雲端服務
- 連線至資料庫、API 與訊息佇列
- 使用 Airflow 執行 ETL 管道
- 雲端整合：AWS、GCP、Azure 操作員
監控與可觀察性
- 任務日誌與即時監控
- 使用 Prometheus 和 Grafana 進行指標監控
- 透過 Email 或 Slack 進行告警與通知
保護 Apache Airflow 安全
- 基於角色的存取控制 (RBAC)
- 使用 LDAP、OAuth 及 SSO 進行身份驗證
- 使用 Vault 及雲端密鑰儲存庫進行祕密管理
擴展 Apache Airflow
- 並行性、併發性與任務佇列
- 使用 CeleryExecutor 和 KubernetesExecutor
- 使用 Helm 在 Kubernetes 上部署 Airflow
生產環境最佳實務
- DAG 的版本控制與 CI/CD
- DAG 的測試與除錯
- 在規模化環境中維持可靠性與效能
疑難排解與優化
- 除錯失敗的 DAG 與任務
- 優化 DAG 效能
- 常見陷阱及其避免方法
總結與後續步驟
最低要求
- 具備 Python 程式設計經驗
- 熟悉資料工程或 DevOps 概念
- 了解 ETL 或工作流協同機制
受眾對象
- 資料科學家
- 資料工程師
- DevOps 與基礎架構工程師
- 軟體開發者
客戶評論 (7)
講師根據學員的水平調整了培訓內容，並回答了所有問題。他非常善於溝通，與他互動非常輕鬆。我非常欣賞培訓的形式，其中包含了許多實踐練習。總的來說，這是一次非常引人入勝且組織有序的課程。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
課程 - Apache Airflow: Building and Managing Data Pipelines
機器翻譯
培訓非常到位，理論和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論知識和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常到位，理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
培訓在各個方面都非常精準。理論內容和練習都非常實用。
Vladimir - PUBLIC COURSE
課程 - Apache Airflow
機器翻譯
