Dagster

重新定義數據生命週期：不再只是執行腳本，而是管理具備生命力的數據資產

• 軟體定義資產 (Software-Defined Assets): 核心理念。您定義的是「最終產出的數據（如 Snowflake 中的一張表）」，而 Dagster 負責理解其依賴關係並確保其更新，實現了宣告式的編排體驗。
• 全生命週期的可觀測性: 內建強大的元數據追蹤。您可以直接在 UI 中查看數據的血緣關係（Lineage）、資料品質檢查結果、甚至是每一欄位的分佈情況。
• 開發者友善的在地體驗: 支援無痛的本地開發與單元測試。您可以在不需要連接正式雲端資料倉儲的情況下，完整測試數據處理邏輯。

主要功能、特點

• 介紹: Dagster 是一個為數據工程師量身打造的編排引擎。它將「數據生產」視為軟體工程，引入了強類型、版本控制與自動化測試，確保數據流水線（Pipelines）既穩定又具備高透明度。

[Image of Dagster software-defined assets lineage graph showing dependencies between tables and machine learning models]

• 特色服務:
  • 資產目錄 (Asset Catalog): 就像數據資產的百科全書，紀錄了所有數據的狀態、執行歷史與定義代碼。
  • 宣告式排程 (Declarative Scheduling): 您只需要說「我希望這張表每小時都是最新的」，Dagster 就會自動分析依賴鏈並啟動必要的任務。
  • 資源抽象 (Resources): 完美解耦代碼與基礎設施。您可以輕鬆在本地（使用 SQLite）與生產環境（使用 BigQuery）之間切換，無需修改業務代碼。
  • 2026 AI 資產追蹤: 2026 年版本強化了對向量資料庫與 LLM 評估資產的支持，能自動追蹤嵌入模型（Embedding Models）的版本與向量索引的有效性。

[Image of Dagster UI showing the asset catalog with metadata, execution history, and data quality checks]

數據編排工具「三劍客」對比

核心品質指標計算 (LaTeX)

Dagster 鼓勵在管道中紀錄數據品質。例如，您可以紀錄資產鮮度感應 (Freshness Policy)，其延遲時間 $\mathrm{\Delta }T$ 計算如下：

$$\mathrm{\Delta }T=T_{now}-T_{last\mathrm{\_}update}$$

若 $\mathrm{\Delta }T>\text{Threshold}$，Dagster 將自動觸發警報或啟動上游更新任務。

快速開發範例 (Python)

體驗「軟體定義資產」的簡潔性：

from dagster import asset, Definitions

@asset
def raw_data():
    return [1, 2, 3, 4, 5]

@asset
def processed_data(raw_data):
    # Dagster 會自動理解 processed_data 依賴於 raw_data
    return [x * 2 for x in raw_data]

# 定義整個專案
defs = Definitions(assets=[raw_data, processed_data])

產品說明

Dagster 是數據工程的「現代化指揮中心」。在 數據分析 的技術版圖中，它解決了「數據管道黑盒化」的痛點。當系統中的數據表多達數百張、邏輯錯綜複雜時，傳統任務編排往往會讓人迷失在「哪個任務掛了」的表象中；而 Dagster 則讓您直擊本質：「哪個數據資產出了問題」。其核心價值在於「數據信任的建立」——它讓數據具備了版本控制、測試與透明的血緣，讓數據開發團隊能像資深軟體團隊一樣高效。對於在 2026 年追求數據湖倉一體化、或是需要管理複雜 AI 數據資產的團隊來說，Dagster 是通往數據治理最高境界的階梯。