Лучшие вопросы
Таймлайн
Чат
Перспективы
Apache Airflow
система управления потоками операций обработки данных Из Википедии, свободной энциклопедии
Remove ads
Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.
Изначально разработан в Airbnb в октябре 2014 году[4][5]. В марте 2016 года стал проектом Apache Incubator, в январе 2019 года — проектом верхнего уровня Apache Software Foundation в январе 2019 года.
Написан на Python, потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и Azkaban, использующих файлы конфигурации[6]). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive[7]).
Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer)[8], Amazon Web Services (с ноября 2020 года)[9] и Yandex Cloud (с сентября 2023 года)[10].
Remove ads
Примечания
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads