Transformer des données en exécutant une activité Spark Job Definition
L’activité Définition de travail Spark dans Data Factory pour Microsoft Fabric vous permet de créer des connexions à vos définitions de travaux Spark et de les exécuter à partir d’un pipeline de données.
Conditions préalables
Pour commencer, vous devez remplir les conditions préalables suivantes :
- Un compte de locataire avec un abonnement actif. Créer un compte gratuitement.
- Un espace de travail est créé.
Ajouter une activité de définition de travail Spark à un pipeline avec l’interface utilisateur
Créez un pipeline de données dans votre espace de travail.
Recherchez la définition de travail Spark à partir de la carte d’écran d’accueil et sélectionnez-la ou sélectionnez l’activité dans la barre Activités pour l’ajouter au canevas du pipeline.
Création de l’activité à partir de la carte de l'écran d'accueil :
Création de l’activité à partir de la barre Activités :
Sélectionnez la nouvelle activité Spark Job Definition sur le canevas de l’éditeur de pipeline s’il n’est pas déjà sélectionné.
Reportez-vous aux instructions relatives aux paramètres généraux pour configurer les options trouvées dans l’onglet Paramètres généraux.
Paramètres de l’activité de définition de tâche Spark
Sélectionnez l’onglet Paramètres dans le volet propriétés de l’activité, puis sélectionnez l’espace de travail Fabric qui contient la définition de travail Spark que vous souhaitez exécuter.
Limitations connues
Les limitations actuelles de l’activité Spark Job Definition pour Fabric Data Factory sont répertoriées ici. Cette section est susceptible de changer.
- Actuellement, nous ne prenons pas en charge la création d’une activité de définition de travail Spark dans l’activité (sous Paramètres)
- La prise en charge du paramétrage n’est pas disponible.
- Bien que nous prenions en charge la surveillance de l’activité via l’onglet sortie, vous ne pouvez pas encore surveiller la définition de tâche Spark d'un niveau plus granulaire. Par exemple, les liens vers la page de surveillance, l’état, la durée et les exécutions de définition de travail Spark précédentes ne sont pas disponibles directement dans Data Factory. Toutefois, vous pouvez voir des détails plus granulaires dans la page de monitoring de la Définition de Job Spark .
Enregistrer et exécuter ou planifier le pipeline
Après avoir configuré toutes les autres activités requises pour votre pipeline, basculez vers l’onglet Accueil en haut de l’éditeur de pipeline, puis sélectionnez le bouton Enregistrer pour enregistrer votre pipeline. Sélectionnez Exécuter pour l'exécuter directement ou Planifier pour le planifier. Vous pouvez également afficher l’historique des exécutions ici ou configurer d’autres paramètres.
