Celem Luigi jest zajęcie się wszystkimi instalacjami hydraulicznymi zwykle związanymi z długotrwałymi procesami wsadowymi.Chcesz połączyć wiele zadań, zautomatyzować je, a wystąpią awarie.Te zadania mogą być dowolne, ale zazwyczaj są to długotrwałe zadania, takie jak zadania Hadoop, zrzut danych do / z baz danych, uruchamianie algorytmów uczenia maszynowego lub cokolwiek innego.Istnieją inne pakiety oprogramowania, które koncentrują się na niższych poziomach przetwarzania danych, takich jak Hive, Pig lub Cascading.Luigi nie jest ramą zastępującą je.Zamiast tego pomaga połączyć wiele zadań razem, gdzie każde zadanie może być zapytaniem Hive, zadaniem Hadoop w Javie, zadaniem Spark w Scali lub Pythonem fragmentem Pythona, zrzutem tabeli z bazy danych lub czymkolwiek innym.Łatwo jest zbudować długotrwałe rurociągi, które składają się z tysięcy zadań i których realizacja zajmuje kilka dni lub tygodni.Luigi dba o wiele zarządzania przepływem pracy, dzięki czemu możesz skupić się na samych zadaniach i ich zależnościach. Możesz zbudować dowolne zadanie, ale Luigi ma także zestaw narzędzi z kilkoma typowymi szablonami zadań, które możeszposługiwać się.Obejmuje obsługę uruchamiania zadań mapreduce języka Python w Hadoop, a także zadań Hive i Pig.Zawiera także abstrakcje systemu plików dla HDFS oraz pliki lokalne, które zapewniają, że wszystkie operacje na systemie plików są atomowe.Jest to ważne, ponieważ oznacza to, że potok danych nie ulegnie awarii w stanie zawierającym częściowe dane.