1
Apache Airflow
Airflow to platforma do programowego tworzenia, planowania i monitorowania potoków danych.
- Darmowa
- Linux
Airflow to platforma do programowego tworzenia, planowania i monitorowania potoków danych.Użyj Airflow do tworzenia przepływów pracy jako ukierunkowanych wykresów acyklicznych (DAG) zadań.Program planujący przepływ powietrza wykonuje zadania na szeregu pracowników, przestrzegając określonych zależności.Bogate narzędzia wierszy poleceń sprawiają, że wykonywanie skomplikowanych operacji na DAG jest bardzo proste.Bogaty interfejs użytkownika ułatwia wizualizację rurociągów uruchomionych w produkcji, monitorowanie postępu i rozwiązywanie problemów w razie potrzeby .... Zasady Dynamiczne: Rurociągi przepływu powietrza są konfigurowane jako kod (Python), co pozwala na dynamiczne generowanie rurociągów.Pozwala to na pisanie kodu, który dynamicznie tworzy instancje.Rozszerzalny: łatwo definiuj własnych operatorów, executorów i rozszerzaj bibliotekę, aby pasowała do poziomu abstrakcji, który pasuje do twojego środowiska.Eleganckie: rurociągi Airflow są wąskie i wyraźne.Parametryzowanie skryptów jest wbudowane w rdzeń Airflow za pomocą potężnego silnika szablonów Jinja.Skalowalny: Airflow ma modułową architekturę i korzysta z kolejki komunikatów, aby porozmawiać z aranżacją dowolnej liczby pracowników.Przepływ powietrza jest gotowy do skalowania do nieskończoności.