Σχεδιασμός της μετεγκατάστασής σας από το Azure Data Factory
Το Microsoft Fabric είναι το προϊόν SaaS ανάλυσης δεδομένων της Microsoft που συγκεντρώνει όλα τα κορυφαία προϊόντα ανάλυσης στην αγορά της Microsoft σε μια μοναδική εμπειρία χρήστη. Το Fabric Data Factory παρέχει ενορχήστρωση ροής εργασιών, μετακίνηση δεδομένων, αναπαραγωγή δεδομένων και μετασχηματισμό δεδομένων σε κλίμακα με παρόμοιες δυνατότητες που βρίσκονται στο Azure Data Factory (ADF). Εάν έχετε υπάρχουσες επενδύσεις ADF που θα θέλατε να εκσυγχρονίζετε στο Fabric Data Factory, αυτό το έγγραφο είναι χρήσιμο για να σας βοηθήσει να κατανοήσετε τα ζητήματα μετεγκατάστασης, τις στρατηγικές και τις προσεγγίσεις.
Η μετεγκατάσταση από τις υπηρεσίες Azure PaaS ETL/DI ADF & διοχετεύσεις Synapse και ροές δεδομένων μπορεί να προσφέρει πολλά σημαντικά οφέλη:
- Οι νέες ενσωματωμένες δυνατότητες διοχέτευσης, συμπεριλαμβανομένων των δραστηριοτήτων ηλεκτρονικού ταχυδρομείου και Teams, επιτρέπουν την εύκολη δρομολόγηση μηνυμάτων κατά την εκτέλεση της διοχέτευσης.
- Οι ενσωματωμένες δυνατότητες συνεχούς ενοποίησης και παράδοσης (CI/CD) (διοχετεύσεις ανάπτυξης) δεν απαιτούν εξωτερική ενοποίηση με αποθετήρια Git.
- Η ενοποίηση χώρου εργασίας με τη λίμνη δεδομένων OneLake επιτρέπει εύκολη διαχείριση ανάλυσης ενός τμήματος παραθύρου από γυαλί.
- Η ανανέωση των μοντέλων σημασιολογικών δεδομένων σας είναι εύκολη στο Fabric με μια πλήρως ενοποιημένη δραστηριότητα διοχέτευσης.
Το Microsoft Fabric είναι μια ενσωματωμένη πλατφόρμα για εταιρικά δεδομένα με λειτουργία από τον χρήστη και με διαχείριση σε επίπεδο IT. Με την εκθετική ανάπτυξη του όγκου δεδομένων και της πολυπλοκότητας, οι πελάτες του Fabric απαιτούν εταιρικές λύσεις με δυνατότητα κλιμάκωσης, που είναι ασφαλείς, εύκολες στη διαχείριση και προσβάσιμες σε όλους τους χρήστες σε όλους τους μεγαλύτερους οργανισμούς.
Τα τελευταία χρόνια, η Microsoft επένδυσε σημαντικές προσπάθειες για την παροχή δυνατοτήτων cloud με δυνατότητα κλιμάκωσης στο Premium. Για τον σκοπό αυτό, το Data Factory in Fabric αμέσως ενδυναμώνει ένα μεγάλο οικοσύστημα προγραμματιστών ενοποίησης δεδομένων και λύσεων ενοποίησης δεδομένων που δημιουργήθηκαν εδώ και δεκαετίες για να εφαρμόσουν το πλήρες σύνολο δυνατοτήτων και δυνατότητες που υπερβαίνουν κατά πολύ τις συγκρίσιμες λειτουργίες που ήταν διαθέσιμες τις προηγούμενες γενιές.
Φυσικά, οι πελάτες ρωτούν αν υπάρχει μια ευκαιρία ενοποίησης φιλοξενώντας τις λύσεις ενοποίησης δεδομένων εντός του Fabric. Οι συνήθεις ερωτήσεις περιλαμβάνουν:
- Όλες οι λειτουργίες από τις οποίες εξαρτούμε λειτουργούν σε διοχετεύσεις Fabric;
- Ποιες δυνατότητες είναι διαθέσιμες μόνο σε διοχετεύσεις Fabric;
- Πώς γίνεται μετεγκατάσταση υπαρχουσών διοχετεύσεων σε διοχετεύσεις Fabric;
- Ποιος είναι ο οδικός χάρτης της Microsoft για την πρόσληψη εταιρικών δεδομένων;
Διαφορές πλατφόρμας
Όταν μετεγκαταστήσετε μια ολόκληρη παρουσία ADF, υπάρχουν πολλές σημαντικές διαφορές που πρέπει να λάβετε υπόψη μεταξύ των ADF και Data Factory στο Fabric, το οποίο γίνεται σημαντικό κατά τη μετεγκατάσταση στο Fabric. Θα εξετάσουμε πολλές από αυτές τις σημαντικές διαφορές σε αυτή την ενότητα.
Για μια πιο λεπτομερή κατανόηση της λειτουργικής αντιστοίχισης των διαφορών δυνατοτήτων μεταξύ των Azure Data Factory και Fabric Data Factory, ανατρέξτε στο θέμα Συγκρίνετε το Data Factory στο Fabric και το Azure Data Factory.
Χρόνοι εκτέλεσης ενοποίησης
Στο ADF, οι χρόνοι εκτέλεσης ενοποίησης (IRs) είναι αντικείμενα ρύθμισης παραμέτρων που αντιπροσωπεύουν τον υπολογισμό που χρησιμοποιείται από το ADF για την ολοκλήρωση της επεξεργασίας δεδομένων σας. Αυτές οι ιδιότητες ρύθμισης παραμέτρων περιλαμβάνουν την περιοχή Azure για υπολογιστικό cloud και τα μεγέθη υπολογιστικής λειτουργίας Spark ροής δεδομένων. Άλλοι τύποι IR περιλαμβάνουν αυτο-φιλοξενούμενα IRs (SHIR) για συνδεσιμότητα δεδομένων εσωτερικής εγκατάστασης, αναγνωριστικά SSIS για την εκτέλεση πακέτων υπηρεσιών ενοποίησης SQL Server και αναγνωριστικά cloud με δυνατότητα Vnet.
Το Microsoft Fabric είναι ένα προϊόν λογισμικού ως υπηρεσίας (SaaS), ενώ το ADF είναι ένα προϊόν πλατφόρμας ως υπηρεσίας (PaaS). Αυτό που σημαίνει αυτή η διάκριση όσον αφορά τους χρόνους εκτέλεσης ενοποίησης είναι ότι δεν χρειάζεται να ρυθμίσετε τίποτα για να χρησιμοποιήσετε διοχετεύσεις ή ροές δεδομένων στο Fabric, καθώς η προεπιλογή είναι να χρησιμοποιήσετε υπολογιστικό νέφος στην περιοχή όπου βρίσκονται οι εκχωρημένοι πόροι fabric σας. Τα αναγνωριστικά SSIS δεν υπάρχουν στο Fabric και για συνδεσιμότητα δεδομένων εσωτερικής εγκατάστασης χρησιμοποιείτε ένα στοιχείο ειδικά για το Fabric γνωστό ως πύλης δεδομένων εσωτερικής εγκατάστασης (OPDG). Επίσης, για συνδεσιμότητα εικονικού δικτύου σε ασφαλή δίκτυα, χρησιμοποιείτε την Πύλη δεδομένων εικονικού δικτύου στο Fabric.
Κατά τη μετεγκατάσταση από ADF σε Fabric, δεν χρειάζεται να μετεγκαταστήσετε IR δημόσιου δικτύου Azure (cloud). Πρέπει να δημιουργήσετε εκ νέου τα SHIR σας ως OPDGs και αναγνωριστικά Azure με δυνατότητα εικονικού δικτύου, καθώς πύλες δεδομένων εικονικού δικτύου.
Αγωγούς
Οι διοχετεύσεις είναι το βασικό στοιχείο του ADF, το οποίο χρησιμοποιείται για την κύρια ροή εργασιών και την ενορχήστρωση των διαδικασιών σας ADF για μετακίνηση δεδομένων, μετασχηματισμό δεδομένων και ενορχήστρωση διαδικασιών. Οι διοχετεύσεις στο Fabric Data Factory είναι σχεδόν πανομοιότυπες με το ADF, αλλά με επιπλέον στοιχεία που ταιριάζουν στο μοντέλο SaaS που βασίζεται στον χώρο του Power BI. Αυτή η ομοιότητα περιλαμβάνει εγγενείς δραστηριότητες για μηνύματα ηλεκτρονικού ταχυδρομείου, ανανεώσεις Teams και Μοντέλο σημασιολογίας.
Ο ορισμός JSON των διοχετεύσεων στο Fabric Data Factory διαφέρει ελαφρώς από τον ADF λόγω διαφορών στο μοντέλο εφαρμογής μεταξύ των δύο προϊόντων. Εξαιτίας αυτής της διαφοράς, δεν είναι δυνατή η αντιγραφή/επικόλληση JSON διοχέτευσης, διοχετεύσεων εισαγωγής/εξαγωγής ή ο σημείου σε ένα αποθετήριο ADF Git.
Κατά την επαναδόμηση των διοχετεύσεων ADF σας ως διοχετεύσεις Fabric, χρησιμοποιείτε ουσιαστικά τα ίδια μοντέλα ροής εργασιών και δεξιότητες που χρησιμοποιήσατε στο ADF. Το κύριο ζήτημα έχει να κάνει με το Linked Services και τα Σύνολα δεδομένων που είναι έννοιες στο ADF που δεν υπάρχουν στο Fabric.
Συνδεδεμένες υπηρεσίες
Στο ADF, οι Συνδεδεμένες υπηρεσίες ορίζουν τις ιδιότητες συνδεσιμότητας που απαιτούνται για τη σύνδεση στους χώρους αποθήκευσης δεδομένων για τη μετακίνηση δεδομένων, τον μετασχηματισμό δεδομένων και τις δραστηριότητες επεξεργασίας δεδομένων. Στο Fabric, πρέπει να δημιουργήσετε εκ νέου αυτούς τους ορισμούς ως συνδέσεις που είναι ιδιότητες για τις δραστηριότητές σας, όπως Αντιγραφή και Ροές δεδομένων.
Σύνολα δεδομένων
Τα σύνολα δεδομένων ορίζουν το σχήμα, την τοποθεσία και τα περιεχόμενα των δεδομένων σας σε ADF, αλλά δεν υπάρχουν ως οντότητες στο Fabric. Για να ορίσετε ιδιότητες δεδομένων όπως τύπους δεδομένων, στήλες, φακέλους, πίνακες κ.λπ. στις διοχετεύσεις Fabric Data Factory, ορίζετε αυτά τα χαρακτηριστικά ενσωματωμένα μέσα σε δραστηριότητες διοχέτευσης και μέσα στο αντικείμενο σύνδεσης που αναφέρεται προηγουμένως στην ενότητα Συνδεδεμένη υπηρεσία.
Ροές δεδομένων
Στο Data Factory for Fabric, ο όρος ροών δεδομένων αναφέρεται στις δραστηριότητες μετασχηματισμού δεδομένων χωρίς κώδικα, ενώ στο ADF, η ίδια δυνατότητα αναφέρεται ως ροές δεδομένων. Οι ροές δεδομένων Fabric Data Factory έχουν ένα περιβάλλον εργασίας χρήστη που είναι ενσωματωμένο στο Power Query, το οποίο χρησιμοποιείται στη δραστηριότητα ADF Του Power Query. Η υπολογιστική λειτουργία που χρησιμοποιείται για την εκτέλεση ροών δεδομένων στο Fabric είναι ένας εγγενής μηχανισμός εκτέλεσης που μπορεί να κλιμακωθεί για μετασχηματισμό δεδομένων μεγάλης κλίμακας, χρησιμοποιώντας τον νέο μηχανισμό υπολογιστικής λειτουργίας Αποθήκης δεδομένων Fabric.
Στο ADF, οι ροές δεδομένων βασίζονται στην υποδομή Synapse Spark και ορίζονται χρησιμοποιώντας ένα περιβάλλον εργασίας χρήστη κατασκευής που χρησιμοποιεί μια υποκείμενη γλώσσα (DSL) που είναι γνωστή ως δέσμη ενεργειών ροής δεδομένων δεδομένων. Αυτή η γλώσσα ορισμού διαφέρει σημαντικά από τις ροές δεδομένων που βασίζονται στο Power Query στο Fabric, οι οποίες χρησιμοποιούν μια γλώσσα ορισμού γνωστή ως M για να καθορίσουν τη συμπεριφορά τους. Εξαιτίας αυτών των διαφορών στα περιβάλλοντα εργασίας χρήστη, οι γλώσσες και οι μηχανές εκτέλεσης, οι ροές δεδομένων Fabric και ADF ροές δεδομένων δεν είναι συμβατές και χρειάζεται να δημιουργήσετε εκ νέου τις ροές δεδομένων σας ADF ως ροές δεδομένων Fabric κατά την αναβάθμιση των λύσεων σας στο Fabric.
Ενεργοποιεί
Ενεργοποιεί το σήμα ADF για την εκτέλεση μιας διοχέτευσης βάσει ενός χρονοδιαγράμματος χρόνου ρολογιού τοίχου, φέτας χρόνου παραθύρου, συμβάντων βάσει αρχείων ή προσαρμοσμένων συμβάντων. Αυτές οι δυνατότητες είναι παρόμοιες στο Fabric, παρόλο που η υποκείμενη υλοποίηση είναι διαφορετική.
Στο Fabric, ενεργοποιεί υπάρχουν μόνο ως έννοια διοχέτευσης. Το μεγαλύτερο πλαίσιο που ενεργοποιεί τη χρήση του στο Fabric είναι γνωστό ως data Activator, το οποίο είναι ένα υποσύστημα συμβάντων και ειδοποίησης για τις δυνατότητες ευφυΐας σε πραγματικό χρόνο στο Fabric.
Το Fabric Data Activator διαθέτει ειδοποιήσεις που μπορούν να χρησιμοποιηθούν για τη δημιουργία εναυσμάτων συμβάντων αρχείου και προσαρμοσμένων συμβάντων. Ενώ τα εναύσματα χρονοδιαγράμματος είναι μια ξεχωριστή οντότητα στο Fabric γνωστή ως χρονοδιαγράμματα . Αυτά τα χρονοδιαγράμματα βρίσκονται σε επίπεδο πλατφόρμας στο Fabric και όχι συγκεκριμένα για τις διοχετεύσεις. Επίσης, δεν αναφέρονται ως εναύσματα στο Fabric.
Για να μετεγκαταστήσετε τα εναύσματά σας από ADF σε Fabric, σκεφτείτε πώς θα δημιουργήσετε ξανά τα εναύσματα του χρονοδιαγράμματός σας απλώς ως χρονοδιαγράμματα που είναι ιδιότητες των διοχετεύσεων Fabric σας. Επίσης, για όλους τους άλλους τύπους εναύσματος, χρησιμοποιήστε το κουμπί Εναύσματα εντός της διοχέτευσης Fabric ή χρησιμοποιήστε το Data Activator εγγενώς στο Fabric.
Εντοπισμός σφαλμάτων
Οι διοχετεύσεις εντοπισμού σφαλμάτων είναι απλούστερες στο Fabric από ό, τι στο ADF. Αυτή η απλότητα οφείλεται στο γεγονός ότι οι διοχετεύσεις Fabric Data Factory δεν έχουν ξεχωριστή έννοια της λειτουργία εντοπισμού σφαλμάτων που βρίσκετε σε διοχετεύσεις ADF και ροές δεδομένων. Αντίθετα, όταν δημιουργείτε τη διοχέτευση, βρίσκεστε πάντα σε αλληλεπιδραστική λειτουργία. Για να δοκιμάσετε και να εντοπίσετε σφάλματα στις διοχετεύσεις σας, χρειάζεται να επιλέξετε το κουμπί αναπαραγωγής μόνο από τη γραμμή εργαλείων του προγράμματος επεξεργασίας διοχέτευσης όταν είστε έτοιμοι στον κύκλο ανάπτυξης. Οι διοχετεύσεις στο Fabric δεν περιλαμβάνουν τις εντοπισμό σφαλμάτων μέχρι βήμα μοτίβο εντοπισμού σφαλμάτων με αλληλεπιδραστικό τρόπο. Αντί για αυτό, στο Fabric, χρησιμοποιείτε την κατάσταση δραστηριότητας και ορίζετε μόνο τις δραστηριότητες που θέλετε να δοκιμάσετε ως ενεργές, ορίζοντας παράλληλα όλες τις άλλες δραστηριότητες σε ανενεργές για να επιτύχετε τα ίδια μοτίβα δοκιμών και εντοπισμού σφαλμάτων. Ανατρέξτε στο παρακάτω βίντεο που σας καθοδηγεί στον τρόπο επίτευξης αυτής της εμπειρίας εντοπισμού σφαλμάτων στο Fabric.
Αλλαγή της καταγραφής δεδομένων
Η Αλλαγή της Καταγραφής δεδομένων (CDC) στο ADF είναι μια δυνατότητα προεπισκόπησης που διευκολύνει τη γρήγορη μετακίνηση δεδομένων με επαυξητικό τρόπο, εφαρμόζοντας τις δυνατότητες cdc από την πλευρά της προέλευσης των καταστημάτων δεδομένων σας. Για να μετεγκαταστήσετε τα αντικείμενα σχεδίασης CDC στο Fabric Data Factory, δημιουργείτε εκ νέου αυτά τα αντικείμενα σχεδίασης ως αντιγραφή εργασίας στοιχεία στον χώρο εργασίας Fabric σας. Αυτή η δυνατότητα παρέχει παρόμοιες δυνατότητες επαυξητικής μετακίνησης δεδομένων με ένα εύχρηστο περιβάλλον εργασίας χρήστη χωρίς να απαιτείται διοχέτευση, ακριβώς όπως στο ADF CDC. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Αντιγραφή εργασίας για το Data Factory στο Fabric.
Σύνδεση Azure Synapse
Παρόλο που δεν είναι διαθέσιμο στο ADF, οι χρήστες διοχέτευσης Synapse χρησιμοποιούν συχνά τη Σύνδεση Azure Synapse για την αναπαραγωγή δεδομένων από βάσεις δεδομένων SQL στη λίμνη δεδομένων τους με με στοκ προσέγγιση. Στο Fabric, δημιουργείτε εκ νέου τα αντικείμενα σχεδίασης Azure Synapse Link ως κατοπτρικά στοιχεία στον χώρο εργασίας σας. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Fabric βάση δεδομένων που κατοπτρίζει.
Υπηρεσίες ενοποίησης SQL Server (SSIS)
Το SSIS είναι το εργαλείο ενοποίησης δεδομένων εσωτερικής εγκατάστασης και ETL που παρέχεται από τη Microsoft με τον SQL Server. Στο ADF, μπορείτε να μετακινήσετε και να μετακινήσετε τα πακέτα SSIS στο cloud χρησιμοποιώντας το ADF SSIS IR. Στο Fabric, δεν έχουμε την έννοια των IRs, επομένως αυτή η λειτουργικότητα δεν είναι δυνατή σήμερα. Ωστόσο, εργαζόμαστε για να ενεργοποιήσουμε την εγγενή εκτέλεση του πακέτου SSIS από το Fabric, το οποίο ελπίζουμε να φέρουμε στο προϊόν σύντομα. Εν τω μεταξύ, ο καλύτερος τρόπος για να εκτελέσετε πακέτα SSIS στο cloud με το Fabric Data Factory είναι να ξεκινήσετε ένα SSIS IR στο εργοστάσιο ADF σας και, στη συνέχεια, να καλέσετε μια διοχέτευση ADF για να καλέσετε τα πακέτα SSIS σας. Μπορείτε να καλέσετε απομακρυσμένα μια διοχέτευση ADF από τις διοχετεύσεις σας Fabric χρησιμοποιώντας τη δραστηριότητα διοχέτευσης Που κλήθηκε, η οποία περιγράφεται στην επόμενη ενότητα.
Ενεργοποίηση δραστηριότητας διοχέτευσης
Μια συνήθης δραστηριότητα που χρησιμοποιείται σε διοχετεύσεις ADF είναι η Εκτέλεση δραστηριότητας διοχέτευσης το οποίο σας επιτρέπει να καλέσετε μια άλλη διοχέτευση στο εργοστάσιό σας. Στο Fabric, ενισχύσαμε αυτήν τη δραστηριότητα, καθώς η δραστηριότητα Κλήση διοχέτευσης. Ανατρέξτε στην τεκμηρίωση Κλήση δραστηριότητας διοχέτευσης.
Αυτή η δραστηριότητα είναι χρήσιμη για σενάρια μετεγκατάστασης όπου έχετε πολλές διοχετεύσεις ADF που χρησιμοποιούν δυνατότητες του ADF, όπως αντιστοίχιση ροών δεδομένων ή SSIS. Μπορείτε να διατηρήσετε αυτές τις διοχετεύσεις as-is σε ADF ή ακόμα και διοχετεύσεις Synapse και, στη συνέχεια, να καλέσετε αυτήν τη διοχέτευση ενσωματωμένη από τη νέα διοχέτευση Fabric Data Factory, χρησιμοποιώντας τη δραστηριότητα διοχέτευσης Κλήση και δείχνοντας την απομακρυσμένη διοχέτευση εργοστασίου.
Δείγματα σεναρίων μετεγκατάστασης
Τα παρακάτω σενάρια είναι συνήθη σενάρια μετεγκατάστασης που θα μπορούσατε να αντιμετωπίσετε κατά τη μετεγκατάσταση από ADF σε Fabric Data Factory.
Σενάριο #1: Διοχετεύσεις ADF και ροές δεδομένων
Οι κύριες περιπτώσεις χρήσης για μετεγκαταστάσεις εργοστασίων βασίζονται στον εκσυγχρονισμό του περιβάλλοντος ETL σας από το μοντέλο paaS του εργοστασίου ADF στο νέο μοντέλο SaaS Fabric. Τα κύρια στοιχεία εργοστασίου για μετεγκατάσταση είναι οι διοχετεύσεις και οι ροές δεδομένων. Υπάρχουν πολλά βασικά στοιχεία παραγωγής που πρέπει να σχεδιάσετε για μετεγκατάσταση εκτός αυτών των δύο στοιχείων ανώτατου επιπέδου: συνδεδεμένες υπηρεσίες, χρόνοι εκτέλεσης ενοποίησης, σύνολα δεδομένων και εναύσματα.
- Οι συνδεδεμένες υπηρεσίες πρέπει να δημιουργηθούν εκ νέου στο Fabric ως συνδέσεις στις δραστηριότητες διοχέτευσης.
- Τα σύνολα δεδομένων δεν υπάρχουν στο Factory. Οι ιδιότητες των συνόλων δεδομένων σας αναπαρίστανται ως ιδιότητες εντός δραστηριοτήτων διοχέτευσης, όπως Αντιγραφή ή Αναζήτηση, ενώ οι συνδέσεις περιέχουν άλλες ιδιότητες συνόλου δεδομένων.
- Οι χρόνοι εκτέλεσης ενοποίησης δεν υπάρχουν στο Fabric. Ωστόσο, τα αυτο-φιλοξενούμενα IRs σας μπορούν να δημιουργηθούν εκ νέου χρησιμοποιώντας πύλες δεδομένων εσωτερικής εγκατάστασης (OPDG) στο Fabric και τα αναγνωριστικά εικονικού δικτύου Azure ως διαχειριζόμενες πύλες εικονικού δικτύου στο Fabric.
- Αυτές οι δραστηριότητες διοχέτευσης ADF δεν περιλαμβάνονται στο Fabric Data Factory:
- Data Lake Analytics (U-SQL) - Αυτή η δυνατότητα είναι μια υπό απόσυρση υπηρεσία Azure.
- Δραστηριότητα επικύρωσης - Η δραστηριότητα επικύρωσης στο ADF είναι μια δραστηριότητα βοηθητικής εφαρμογής που μπορείτε να δημιουργήσετε εκ νέου στις διοχετεύσεις Fabric εύκολα χρησιμοποιώντας μια δραστηριότητα Λήψη μετα-δεδομένων, έναν βρόχο διοχέτευσης και μια δραστηριότητα If.
- Power Query - Στο Fabric, όλες οι ροές δεδομένων δημιουργούνται χρησιμοποιώντας το περιβάλλον εργασίας χρήστη του Power Query, ώστε να μπορείτε απλώς να αντιγράψετε και να επικολλήσετε τον κώδικά σας M από τις δραστηριότητές σας Power Query ADF και να τον δημιουργήσετε ως ροές δεδομένων στο Fabric.
- Εάν χρησιμοποιείτε οποιαδήποτε από τις δυνατότητες διοχέτευσης ADF που δεν βρίσκονται στο Fabric Data Factory, χρησιμοποιήστε τη δραστηριότητα Κλήση διοχέτευσης στο Fabric για να καλέσετε τις υπάρχουσες διοχετεύσεις σας στο ADF.
- Οι ακόλουθες δραστηριότητες διοχέτευσης ADF συνδυάζονται σε μια δραστηριότητα ενός σκοπού:
- Δραστηριότητες Azure Databricks (Notebook, Jar, Python)
- Azure HDInsight (Hive, χοίρος, χάρτηςReduce, spark, ροή)
Η παρακάτω εικόνα εμφανίζει τη σελίδα ρύθμισης παραμέτρων του συνόλου δεδομένων ADF, με τη διαδρομή αρχείου και τις ρυθμίσεις συμπίεσης:
Η παρακάτω εικόνα εμφανίζει τη ρύθμιση παραμέτρων της δραστηριότητας αντιγραφής για το Data Factory στο Fabric, όπου η συμπίεση και η διαδρομή αρχείου είναι ενσωματωμένες στη δραστηριότητα:
Σενάριο #2: ADF με CDC, SSIS και Airflow
CDC & Airflow σε ADF είναι δυνατότητες προεπισκόπησης, ενώ το SSIS στο ADF είναι μια γενικά διαθέσιμη δυνατότητα για πολλά χρόνια. Κάθε μία από αυτές τις δυνατότητες εξυπηρετεί διαφορετικές ανάγκες ενοποίησης δεδομένων, αλλά απαιτεί ιδιαίτερη προσοχή κατά τη μετεγκατάσταση από ADF σε Fabric. Η αλλαγή της καταγραφής δεδομένων (CDC) είναι μια έννοια ADF ανώτατου επιπέδου, αλλά στο Fabric, βλέπετε αυτή τη δυνατότητα ως το εργασία αντιγραφής.
Η ροή αέρα είναι η δυνατότητα Airflow Apache διαχειριζόμενη από το cloud ADF και είναι επίσης διαθέσιμη στο Fabric Data Factory. Θα πρέπει να μπορείτε να χρησιμοποιήσετε το ίδιο αποθετήριο προέλευσης ροής αέρα ή να λάβετε τις dags και να αντιγράψετε/επικολλήσετε τον κώδικα στην προσφορά Airflow Fabric με ελάχιστη ή καθόλου αλλαγή.
Σενάριο #3: Μετεγκατάσταση του Data Factory με δυνατότητα Git στο Fabric
Είναι σύνηθες, αν και δεν απαιτείται, τα εργοστάσια ADF ή Synapse και οι χώροι εργασίας σας να συνδέονται με τη δική σας εξωτερική υπηρεσία παροχής Git στο ADO ή το GitHub. Σε αυτό το σενάριο, πρέπει να μετεγκαταστήσετε τα στοιχεία εργοστασίου και χώρου εργασίας σας σε έναν χώρο εργασίας Fabric και, στη συνέχεια, να ρυθμίσετε την ενοποίηση Git στον χώρο εργασίας fabric σας.
Το Fabric παρέχει δύο κύριους τρόπους ενεργοποίησης CI/CD, τόσο σε επίπεδο χώρου εργασίας: Ενοποίηση Git, όπου μεταφέρετε το δικό σας αποθετήριο Git στο ADO και συνδέεστε σε αυτό από το Fabric και ενσωματωμένες διοχετεύσεις ανάπτυξης, όπου μπορείτε να προβιβάσετε κώδικα σε υψηλότερα περιβάλλοντα χωρίς την ανάγκη να φέρετε το δικό σας Git.
Και στις δύο περιπτώσεις, το υπάρχον αποθετήριο Git από το ADF δεν λειτουργεί με το Fabric. Αντίθετα, πρέπει να κατευθύνετε σε ένα νέο αποθετήριο δεδομένων ή να ξεκινήσετε μια νέα διοχέτευση ανάπτυξης στο Fabric και να δημιουργήσετε εκ νέου τα αντικείμενα σχεδίασης διοχέτευσης στο Fabric.
Μοντάρετε τις υπάρχουσες παρουσίες σας ADF απευθείας σε έναν χώρο εργασίας Fabric
Προηγουμένως, μιλούσαμε για τη χρήση της δραστηριότητας Διοχέτευσης κλήσης στο Εργοστάσιο δεδομένων Fabric ως έναν μηχανισμό για τη διατήρηση υπαρχουσών επενδύσεων διοχέτευσης ADF και την κλήση τους ενσωματωμένη από το Fabric. Στο Fabric, μπορείτε να πάρετε αυτή την παρόμοια έννοια ένα βήμα παραπέρα και να μοντάρετε ολόκληρο το εργοστάσιο μέσα στον χώρο εργασίας fabric ως εγγενές στοιχείο Fabric.
Για περισσότερες πληροφορίες σχετικά με τα σενάρια μοναρίσματος χρήσης, ανατρέξτε στο θέμα Σενάρια συνεργασίας και παράδοσης περιεχομένου.
Η τοποθέτηση του Azure Data Factory μέσα στον χώρο εργασίας Fabric σας προσφέρει πολλά πλεονεκτήματα. Εάν είστε νέος στο Fabric και θέλετε να διατηρείτε τα εργοστάσιά σας σε παράθεση μέσα στο ίδιο παράθυρο από γυαλί, μπορείτε να τα τοποθετήσετε στο Fabric, ώστε να μπορείτε να διαχειριστείτε και τα δύο μέσα στο Fabric. Το πλήρες περιβάλλον εργασίας χρήστη ADF είναι τώρα διαθέσιμο σε εσάς από το αδιαποίητο εργοστάσιό σας, όπου μπορείτε να παρακολουθείτε, να διαχειρίζεστε και να επεξεργάζεστε τα στοιχεία του εργοστασίου σας ADF πλήρως μέσα από τον χώρο εργασίας Fabric. Αυτή η δυνατότητα διευκολύνει πολύ την έναρξη μετεγκατάστασης αυτών των στοιχείων στο Fabric ως εγγενή αντικείμενα σχεδίασης Fabric. Αυτή η δυνατότητα προορίζεται κυρίως για ευκολία στη χρήση και διευκολύνει την προβολή των εργοστασίων σας ADF στον χώρο εργασίας Fabric. Ωστόσο, η πραγματική εκτέλεση των διοχετεύσεων, δραστηριοτήτων, χρόνου εκτέλεσης ενοποίησης κ.λπ., εξακολουθεί να συμβαίνει μέσα στους πόρους σας Azure.