热门问题
时间线
聊天
视角

Apache Beam

编程模型 来自维基百科,自由的百科全书

Apache Beam
Remove ads

Apache Beam是一個開源統一編程模型,用於定義和執行資料處理管道,包括ETL批次處理流(連續)處理[2] Beam管線是使用提供的SDK之一定義的,並在Beam支援的一個執行器(分散式處理後端)中執行,包括Apache Apex英語Apache ApexApache Flink、Apache Gearpump(孵化中)、Apache Samza英語Apache SamzaApache Spark和Google Cloud Dataflow。[3]

快速預覽 原作者, 開發者 ...

它被稱為「巨量資料的超級API」。[4]

Remove ads

歷史

Apache Beam[3]是資料流模型檔案的一種實現。[5]資料流模型基於以前關於Google的分散式處理抽象的工作,特別是FlumeJava[6]和Millwheel。[7][8]

Google於2014年釋出了資料流模型的開放式SDK,以及在本地(非分散式)和Google雲平台服務中執行資料流的環境。

2016年,Google向Apache軟體基金會捐贈了核心SDK以及本地執行程式的實現,以及用於訪問Google雲平台資料服務的一組IO(資料連接器)。其他公司和社群成員為現有的分散式執行平台提供了執行器,以及新的將Beam Runners與現有資料庫、鍵值儲存和訊息系統整合的IO。此外,還提出了新的DSL,以支援Beam模型之上的特定領域需求。

時間線

更多資訊 版本, 釋放日期 ...
Remove ads

參見

參考文獻

Loading content...
Loading related searches...

Wikiwand - on

Seamless Wikipedia browsing. On steroids.

Remove ads