1
Apache Airflow
Airflow es una plataforma para crear, programar y monitorear canalizaciones de datos mediante programación.
- Gratis
- Linux
Airflow es una plataforma para crear, programar y monitorear canalizaciones de datos mediante programación.Use Airflow para crear flujos de trabajo como gráficos acíclicos dirigidos (DAG) de tareas.El programador Airflow ejecuta sus tareas en una matriz de trabajadores mientras sigue las dependencias especificadas.Las ricas utilidades de las líneas de comando facilitan la realización de cirugías complejas en DAG.La rica interfaz de usuario facilita la visualización de tuberías que se ejecutan en producción, supervisa el progreso y soluciona problemas cuando sea necesario ... Principios Dinámicos: las tuberías de flujo de aire se configuran como código (Python), lo que permite la generación dinámica de tuberías.Esto permite escribir código que instancia las tuberías dinámicamente.Extensible: defina fácilmente sus propios operadores, ejecutores y extienda la biblioteca para que se ajuste al nivel de abstracción que se adapte a su entorno.Elegante: las tuberías de flujo de aire son esbeltas y explícitas.La parametrización de sus scripts se basa en el núcleo de Airflow utilizando el potente motor de plantillas Jinja.Escalable: Airflow tiene una arquitectura modular y utiliza una cola de mensajes para hablar para orquestar un número arbitrario de trabajadores.El flujo de aire está listo para escalar hasta el infinito.
apache-airflow