Apache Beam

Apache Beamは、ETL、バッチおよびストリーム処理を含むデータ処理パイプライン（英語版）を定義・実行するためのオープンソースの統合プログラミングモデルである^[2]。提供されているSDKの1つを使用してBeam Pipelinesと呼ばれるデータ処理パイプラインを定義し、Apache Flink（英語版）、Apache Samza（英語版）、Apache Spark、Google Cloud Dataflow（英語版）などのBeamがサポートするRunner（分散処理バックエンド）の1つを使用してパイプラインを実行する^[3]。

Apache Beam

作者	Google
開発元	Apache Software Foundation
初版	2016年6月15日 (8年前) (2016-06-15)
最新版	2.63.0 / 2025年2月18日 (3か月前) (2025-02-18)[1]
リポジトリ	Beam Repository
プログラミング 言語	Java, Python, Go
対応OS	クロスプラットフォーム
ライセンス	Apache License 2.0
公式サイト	beam.apache.org

歴史

Apache Beam^[3]は、Dataflowモデルの論文の実装の1つである^[4]。Dataflowモデルは、Googleでの分散処理の抽象化、特にFlumeJava^[5]とMillwheelに関する過去の成果に基づいて設計されている^[6][7]。

2014年、Googleは、DataflowモデルのオープンSDK実装と、Dataflowをローカル（非分散）およびGoogle Cloud Platformサービス上で実行する環境をリリースした。

2016年、GoogleはコアSDK、ローカルランナーの実装、およびGoogle Cloud Platformのデータサービスにアクセスするための一連のIO（データコネクタ）をApache SoftwareFoundationに寄贈した。他の企業やコミュニティのメンバーは、既存の分散実行プラットフォームのRunnerや、Beam Runnerを既存のデータベース、Key-Valueストア、メッセージシステムと統合するための新しいIOをコントリビュートしている。さらに、Beamモデルに加えて特定のドメインのニーズをサポートするための新しいDSLが提案されている^[要出典]。

関連項目

• Apache Software Foundationプロジェクトの一覧（英語版）