El endpoint de Fabric Livy permite a los usuarios enviar y ejecutar su código Spark en el cómputo Spark dentro de un espacio de trabajo de Fabric designado, lo que elimina la necesidad de crear un Notebook o artefactos de definición de trabajo de Spark. Esta integración con un artefacto específico de Lakehouse garantiza un acceso directo a los datos almacenados en OneLake. Además, la API de Livy ofrece la posibilidad de personalizar el entorno de ejecución a través de su integración con el artefacto Environment.
Cuando se envía una solicitud al endpoint de Fabric Livy, el código enviado por el usuario se puede ejecutar en dos modos diferentes:
Trabajo de sesión :
- Un trabajo de sesión de Livy implica establecer una sesión de Spark que permanece activa durante toda la interacción con la API de Livy. Esto resulta especialmente útil para cargas de trabajo interactivas e iterativas.
- Una sesión de Spark comienza cuando se envía un trabajo y dura hasta que el usuario lo finaliza o el sistema lo finaliza después de 20 minutos de inactividad. Durante la sesión, se pueden ejecutar varios trabajos y compartir el estado y los datos almacenados en caché entre ejecuciones.
Trabajo por lotes:
- Un trabajo por lotes de Livy implica enviar una aplicación Spark para una única ejecución. A diferencia de un trabajo de sesión de Livy, un trabajo por lotes no mantiene una sesión de Spark en curso.
- Con los trabajos por lotes de Livy, cada trabajo inicia una nueva sesión de Spark, que finaliza cuando finaliza el trabajo. Este enfoque funciona bien para tareas que no dependen de cálculos previos o requieren mantener el estado entre trabajos.