El propósito de Luigi es abordar todas las tuberías típicamente asociadas con procesos por lotes de larga ejecución.Desea encadenar muchas tareas, automatizarlas y ocurrirán fallas.Estas tareas pueden ser cualquier cosa, pero generalmente son tareas de larga duración, como trabajos de Hadoop, volcado de datos a / desde bases de datos, ejecución de algoritmos de aprendizaje automático o cualquier otra cosa.Existen otros paquetes de software que se centran en los aspectos de nivel inferior del procesamiento de datos, como Hive, Pig o Cascading.Luigi no es un marco para reemplazar estos.En cambio, le ayuda a unir muchas tareas, donde cada tarea puede ser una consulta de Hive, un trabajo de Hadoop en Java, un trabajo de Spark en Scala o Python, un fragmento de Python, volcar una tabla de una base de datos o cualquier otra cosa.Es fácil construir tuberías de larga duración que comprenden miles de tareas y tardan días o semanas en completarse.Luigi se encarga de gran parte de la gestión del flujo de trabajo para que pueda concentrarse en las tareas mismas y sus dependencias ... Puede construir casi cualquier tarea que desee, pero Luigi también viene con una caja de herramientas con varias plantillas de tareas comunes que usted puedeutilizar.Incluye soporte para ejecutar trabajos de reducción de mapas de Python en Hadoop, así como trabajos de Hive y Pig.También viene con abstracciones del sistema de archivos para HDFS y archivos locales que aseguran que todas las operaciones del sistema de archivos sean atómicas.Esto es importante porque significa que su canalización de datos no se bloqueará en un estado que contenga datos parciales.