Jaa

Asiakastietojen käsitteleminen Fabricissa

  • Artikkeli

Microsoft Fabric OneLake on yhdistetty, looginen Data Lake -tallennustila koko organisaatiolle, ja se on suunniteltu käytettäväksi yhden ainoana paikkana kaikille analytiikkatiedeille. Se tulee automaattisesti jokaisen Microsoft Fabric -vuokraajan mukana, ja se perustuu Azure Data Lake Storage (ADLS) Gen2:een. OneLake tukee mitä tahansa tiedostotyyppiä, jäsennettyä tai jäsentämätöntä, ja tallentaa kaikki taulukkomuotoiset tiedot Delta Parquet -muodossa. Se mahdollistaa yhteistyön eri liiketoimintaryhmissä tarjoamalla yhden Data Lake -tallennustilan, jota hallitaan oletusarvoisesti hajautetun omistajuuden avulla yhteistyötä varten vuokraajan rajojen sisällä. Vuokraajan työtilat mahdollistavat sen, että organisaation eri osat voivat jakaa omistajuus- ja käyttöoikeuskäytäntöjä, ja kaikkia OneLakessa olevia tietoja voidaan käyttää tietokohteiden, kuten Lakehousejen ja Varastojen, kautta. Tietosäilöjen osalta OneLake toimii tietojen käsittely,muuntamisen, reaaliaikaisten merkityksellisten tietojen ja liiketoimintatiedon visualisointien yhteisenä tallennussijainnina. Se keskittää eri Fabric-palvelut ja toimii Fabric-kuormitusten kuluttamien tietokohteiden tallennustilana.

Microsoft Fabric Eventhouse tarjoaa skaalattavan ratkaisun suurten tietomäärien käsittelyyn ja analysointiin erityisesti reaaliaikaisia analyysitilanteita varten. Tapahtumatalot hallitsevat tehokkaasti reaaliaikaisia tietovirtoja, jotta organisaatiot voivat käsitellä, käsitellä ja analysoida tietoja lähes reaaliaikaisesti. Ne sopivat erinomaisesti skenaarioihin, jotka edellyttävät ajantasaisia merkityksellisiä tietoja. Lisäksi ne ovat ensisijainen moduuli puolirakenteiseen ja maksuttomaan tekstianalyysiin. Eventhouse on tietokantojen työtila, joka voidaan jakaa projekteihin sekä optimoida suorituskykyä ja kustannuksia hallitsemalla useita tietokantoja kerralla. Tapahtumatalot tukevat tietoja useista lähteistä ja muodoista indeksoimalla ja osittamalla tietoja automaattisesti käsittelyajan mukaan.

Tietojen lukeminen ja kirjoittaminen Microsoft Fabricissa

Microsoft Fabric on ympäristö, joka mahdollistaa asiakastietojen tallennuksen ja hallinnan. Jotta voit lukea ja kirjoittaa tietoja Fabricissa, sinun on käytettävä Fabric REST -ohjelmointirajapintoja ja asianmukaisia todentamismenetelmiä.

Ohjelmointirajapinnan käyttöoikeudet

Jotkin asiakastietojen käyttötavat edellyttävät fabricin ulkopuolella olevien muiden palvelujen, kuten Azure-tallennus tai Azure SQL -tietokannan, käyttöä. Esimerkiksi Microsoft Fabric Developer -pakettimallissa API-käyttöoikeuksia Azure-tallennus user_impersonation käytetään yhdessä Power BI -palvelun Lakehouse.Read.All-oikeuden kanssa tietojen käyttämiseen Lakehousesista.

Azuren SQL-tietokannan avulla voit käyttää taulukon tietoja Warehouse-kohteista. Määritä tässä tapauksessa sovelluksesi Azuren SQL-tietokannan user_impersonation avulla kyselemään tietokantaa käyttäjän ja Power BI -palvelun Warehouse.Read.All avulla kyselyn tekemiseksi Fabric REST -ohjelmointirajapinnan Get Warehouse -päätepisteelle.

Varmista, että määrität Microsoft Entra ID -sovelluksesi kehitystarpeidesi mukaan.

Todentaminen

Ennen kuin voit aloittaa Fabric REST -ohjelmointirajapintojen tai muiden palveluiden, kuten Azure-tallennus ja Azure SQL -tietokannan, käytön käyttäjän puolesta, sinun on suoritettava todennus tunnuksen avulla. Tämän tunnuksen voi hankkia tunnuksen vaihtoprosessin kautta.

Fabric Workload Development Kit SDK tarjoaa -menetelmän käyttöoikeustietueen hankkimiseen kuormituksen edustassa. Katso esimerkiksi kohdasta Mallikuormituksen ohjain.

Tämä asiakastunnus on välitettävä kuormituksen taustalle ja vaihdettava käyttämällä työnkulun puolesta tunnusta, jolla on tarvittavat vaikutusalueet, jotta voit käyttää tarvitsemiasi resursseja, kuten OneLakea. Esimerkiksi lakehouse-järjestelmän käyttöä ja lukemista varten käyttäjän on valtuutettava sovellus tekemään API-kutsuja puolestaan Azure-tallennus user_impersonation -käyttöoikeuden avulla. Tämän jälkeen taustan käyttöoikeustietue on hankittava delegoidulla laajuudellahttps://storage.azure.com/user_impersonation, jotta se voi käyttää Azure-tallennus.

Jos päätät käyttää ASIAKAStietoja SQL:n avulla, käyttöoikeustietue on hankittava niin, että se sisältää laajuuden https://database.windows.net//user_impersonation , jossa voit käyttää Azure SQL -tietokantaa ja Microsoft.Data.SqlClient-nimitilaa. Käyttöoikeustietuetta on käytettävä kirjoitettuna käyttäen kahta vinoviivaa ennen user_impersonationkohdetta , jotta SQLConnection-luokka voi vahvistaa sen. Saat lisää esimerkkejä tunnuksen todentamisesta Microsoft Fabric Developer -paketin mallista.

Lisätietoja tunnuksen hankkimisesta on Microsoft Fabric Workload Development REST API -dokumentaatiossa.

Lue metatietoja

Fabric REST -ohjelmointirajapinnat tarjoavat tavan käyttää kohteen ominaisuuksia. Esimerkiksi Get Lakehouse -ohjelmointirajapinnan kysely tarjoaa metatiedot tietylle Lakehouselle, mukaan lukien hyödylliset ominaisuudet, kuten OneLake-polut ja SQL-yhteysmerkkijonon. Toinen hyödyllinen päätepiste on Hae varasto - ohjelmointirajapinta, joka palauttaa seuraavat tiedot:

    {
        Id: Guid
        Type: string
        DisplayName: string
        Description: string
        WorkspaceId: Guid
        Properties {
            ConnectionInfo: string
            CreatedDate: DateTime
            LastUpdatedTime: DateTime
        }
    }

Tässä ConnectionInfo-ominaisuus on Warehouse SQL Serverin täydellinen toimialuenimi (FQDN). Tämän täydellisen toimimuistin (FQDN) avulla voit muodostaa SQL-yhteyden. Lisätietoja on artikkelissa Liitettävyys tietovarastoon Microsoft Fabricissa. Toteutusesimerkkejä on microsoft Fabric Workload Development Kit -paketissa.

Tietojen lukeminen

Kun olet todentanut, voit muodostaa yhteyden OneLakeen käyttämällä Azure Data Lake Storage REST-ohjelmointirajapintoja erityyppisten tietojen lukemiseen. Suosittelemme Delta Lake -protokollan käyttöä taulukoiden lukemiseen.

Vaihtoehtoisesti, jos päätät käyttää Azure SQL -tietokantaa, voit noudattaa seuraavia ohjeita tietojen lukemiseksi varastosta.

  1. Luo valtuutuskonteksti. Jos haluat luoda valtuutuskontekstin, tutustu AuthenticateDataPlaneCall-menetelmään.

  2. Hanki tunnus Warehouse.Read.All-laajuudelta käyttäjän puolesta käyttämällä edustasta välitettyä haltijatunnusta.

  3. Käytä Fabric-tunnusta Hanki varasto -ohjelmointirajapinnan kutsumiseen. Sinun täytyy käyttää yhteyden tietoja ja sen Varaston näyttönimeä, joka on palvelimen alkuperäinen luettelo.

  4. Hanki SQL-vaikutusalueita sisältävä tunnus käyttäjän puolesta. Käytä SQL-yhteyden muodostamisen onnistumiseksi vaikutusaluetta https://database.windows.net//user_impersonation.

  5. SQL-yhteyden avaaminen SQL-tunnuksen ja yhteyden tietojen avulla:

    private SqlConnection GetSqlConnection(string token, string databaseFqdn, string initialCatalog)
        {
            var builder = new SqlConnectionStringBuilder();
            builder.DataSource = databaseFqdn; // ConnectionInfo from Get Warehouse API
            builder.InitialCatalog = initialCatalog; //display name of the Warehouse
            builder.ConnectTimeout = 120;

            var connection = new SqlConnection();
            connection.AccessToken = token; // SQL token acquired with the Azure SQL Database user_impersonation scope
            connection.ConnectionString = builder.ConnectionString;
            connection.Open();
            return connection;
        }

  6. Tähän yhteyteen voidaan nyt tehdä kysely, jotta se voi käyttää tietoja varastosta. Lisätietoja Microsoft.Data.SqlClient-nimitilankäytöstä on kohdassa Microsoft.Data.SqlClient Namespace Documentation.

Eventhouse-ohjelmointirajapinta

Kun olet suorittanut todennuksen, voit suorittaa toimintoja, kuten luoda Eventhouse-tapahtumia, poistaa Eventhouse-tapahtumia, hakea luettelon Eventhouse-taloista jne. Voit tehdä sen esimerkiksi käyttämällä portaalia – Eventhousen yleiskatsaus.

Toinen tapa on käyttää Eventhouse Rest -ohjelmointirajapintaa – Eventhouse Rest -ohjelmointirajapinnan yleiskatsaus.

  1. Valtuuttaa.
  2. Hanki tunnus FabricEventhouse.Read.All laajuus käyttäjän puolesta edustasta välitetyllä haltijatunnuksella.
  3. Fabric tunnuksen avulla voit kutsua Get Eventhouse -ohjelmointirajapinnan.
  4. Kun olet nyt luettelo Eventhouse-tietokannoista, voit tehdä kyselyn halutulle tietokanta-tietokannalle alla olevassa Kyselytiedot-osiossa kuvatulla tavalla.

Tietojen kyseleminen

Jos haluat kysellä tietoja Eventhouse KQL -tietokannasta, toimi seuraavasti: Todenna ensin käyttämällä asianmukaista menetelmää. Nouda sitten tietokantojen luettelo muodostamalla yhteys Eventhouse-tietokantaan. Tee sitten kysely tietylle tietokannalle, jota haluat käyttää. On tärkeää erottaa toisistaan kyselykomennot, kuten .show tablesja tietokyselyt, kuten <TableName> | take 10. Täydelliset ohjeet KQL REST -ohjelmointirajapinnasta ovat KQL REST -ohjelmointirajapinnan dokumentaatio.

Toinen tapa on käyttää Eventhouse Rest -ohjelmointirajapintaa – Eventhouse Rest -ohjelmointirajapinnan yleiskatsaus.

  1. Valtuuttaa.
  2. Hanki tunnus KQLDatabase.ReadWrite.All laajuus käyttäjän puolesta edustasta välitettyä haltijatunnusta käyttämällä.
  3. Käytä Kql -tunnusta KQL Rest -ohjelmointirajapinnan.

Tietojen kirjoittaminen

Tunnuksen avulla luettujen tietojen lisäksi voit käyttää ADLS-ohjelmointirajapintoja tietojen kirjoittamiseen taulukoihin Delta Lake -protokollan mukaisesti.

Voit myös luoda tiedostoja ja hakemistoja ohjelmointirajapintojen avulla.

Vaihtoehtoisesti voit käyttää muita Fabric-kuormituksia tietojen kirjoittamiseen ympäristöön. Voit esimerkiksi käyttää Fabricin Lakehouse-kuormituksen ohjelmointirajapintaa yleisten tiedostotyyppien lataamiseen tehokkaasti optimoituun Delta-taulukkoon. Tämä tehdään lähettämällä POST-pyyntö Taulukoiden – Lataa taulukko -ohjelmointirajapinnan päätepisteeseen.

SQL-yhteyden avulla voidaan myös suorittaa komentoja, jotka lisäävät tietoja taulukoihin.

Liittyvä sisältö