Beschikbaarheid van Eventhouse OneLake

U kunt een logische kopie van KQL-databasegegevens maken in een eventhouse door beschikbaarheid van OneLake in te schakelen. Als u OneLake-beschikbaarheid inschakelt, kunt u query's uitvoeren op de gegevens in uw KQL-database in Delta Lake-indeling via andere Fabric-engines, zoals de Direct Lake-modus in Power BI, Warehouse, Lakehouse, Notebooks en meer.

Delta Lake is een uniforme data lake-tabelindeling die naadloze gegevenstoegang biedt voor alle rekenengines in Microsoft Fabric. Zie Wat is Delta Lake? voor meer informatie over Delta Lake.

In dit artikel leert u hoe u de beschikbaarheid van KQL-databasegegevens in OneLake inschakelt.

Hoe het werkt

U kunt de beschikbaarheid van OneLake inschakelen op database- of tabelniveau. Wanneer deze optie is ingeschakeld op databaseniveau, worden alle nieuwe tabellen en de bijbehorende gegevens beschikbaar gesteld in OneLake. Wanneer u de functie inschakelt, kunt u deze optie ook toepassen op bestaande tabellen door de optie Toepassen op bestaande tabellen te selecteren om historische backfill op te nemen. Als u op tabelniveau inschakelt, worden alleen die tabel en de bijbehorende gegevens beschikbaar in OneLake. Het bewaarbeleid voor gegevens van uw KQL-database wordt ook toegepast op de gegevens in OneLake. Gegevens die zijn verwijderd uit uw KQL-database aan het einde van de bewaarperiode, worden ook verwijderd uit OneLake. Als u OneLake-beschikbaarheiduitschakelt, worden gegevens voorlopig verwijderd uit OneLake.

Hoewel OneLake-beschikbaarheid is ingeschakeld, kunt u de volgende taken niet uitvoeren:

• De naam van tabellen wijzigen
• Tabelschema's wijzigen
• Beveiliging op rijniveau toepassen op tabellen
• Gegevens kunnen niet worden verwijderd, afgekort of opgeschoond.

Als u een van deze taken wilt uitvoeren, gebruikt u de volgende stappen:

1. Schakel OneLake-beschikbaarheiduit.

2. Voer de gewenste taak uit.

3. Schakel OneLake-beschikbaarheidin.

Vereisten

• Een werkruimte met een Microsoft Fabric ingeschakelde capaciteit
• Een KQL-database met bewerkingsmachtigingen en gegevens

Beschikbaarheid van OneLake inschakelen

U kunt Beschikbaarheid van OneLake inschakelen op een KQL-database of -tabel.

1. Als u OneLake-beschikbaarheidwilt inschakelen, selecteert u een database of tabel.

2. Stel in het gedeelte OneLake van het detailvenster Beschikbaarheid in op Ingeschakeld.

   

3. Selecteer in het venster Inschakelen Onelake-beschikbaarheid de optie inschakelen.

   

4. De gegevens van de database of tabel worden automatisch vernieuwd.

   

Nu de OneLake-beschikbaarheid in uw KQL-database of -tabel is ingeschakeld, hebt u nu toegang tot alle gegevens op het opgegeven OneLake-pad in Delta Lake-indeling. U kunt ook een OneLake-snelkoppeling maken vanuit een Lakehouse, Data Warehouse of de gegevens rechtstreeks opvragen via de Direct Lake-modus van Power BI.

Adaptief gedrag

Eventhouse biedt een robuust mechanisme waarmee binnenkomende gegevensstromen op intelligente wijze worden gebatcheerd in een of meer Parquet-bestanden, gestructureerd voor analyse. Batchverwerking van gegevensstromen is belangrijk bij het omgaan met druppelende gegevens. Het schrijven van veel kleine Parquet-bestanden naar het meer kan inefficiënt zijn, wat resulteert in hogere kosten en slechte prestaties.

Het adaptieve mechanisme van Eventhouse kan schrijfbewerkingen vertragen als er onvoldoende gegevens zijn om optimale Parquet-bestanden te maken. Dit gedrag zorgt ervoor dat Parquet-bestanden optimaal qua grootte zijn en voldoen aan de best practices van Delta Lake. Het adaptieve mechanisme eventhouse zorgt ervoor dat de Parquet-bestanden zijn voorbereid op analyse en zorgt voor een balans tussen de behoefte aan beschikbaarheid van gegevens met kosten- en prestatieoverwegingen.

Gebruik bijvoorbeeld de volgende opdracht om de vertraging in te stellen op 5 minuten:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

U kunt controleren hoe lang geleden er nieuwe gegevens aan het datameer zijn toegevoegd door de gegevensvertraging te controleren met de .show table mirroring operations opdracht.

Resultaten worden gemeten vanaf de laatste keer dat gegevens zijn toegevoegd. Wanneer latentie resulteert in 00:00:00, zijn alle gegevens in de KQL-database beschikbaar in OneLake.

Bestanden weergeven

Wanneer u de OneLake-functie inschakelt voor een tabel, wordt er een deltalogmap gemaakt, samen met alle bijbehorende JSON- en Parquet-bestanden. U kunt de bestanden bekijken die beschikbaar zijn gesteld in OneLake en hun eigenschappen bekijken terwijl u in Real-Time Intelligence blijft.

• Als u de bestanden wilt weergeven, beweegt u de muisaanwijzer over een tabel in het deelvenster Explorer en selecteert u vervolgens het menu Meer [...]>Bestanden weergeven.

  

• Als u de eigenschappen van de deltalogboekmap of de afzonderlijke bestanden wilt bekijken, beweegt u de muisaanwijzer over de map of het bestand en selecteert u vervolgens het menu Meer [...]>Eigenschappen.

• Om de bestanden in de delta logboek map weer te geven:

  1. Selecteer de map _delta_log.
  2. Selecteer een bestand om de metagegevens en het schema van de tabel weer te geven. De geopende editor is in alleen-lezen formaat.

Beleid voor toegang tot spiegeling

Wanneer OneLake-beschikbaarheid is ingeschakeld, is standaard een mirroringbeleid ingeschakeld. U kunt het beleid gebruiken om de latentie van gegevens te bewaken of te wijzigen in partitie-deltatabellen.

Deltatabellen partitioneren

U kunt uw deltatabellen partitioneren om de querysnelheid te verbeteren. Zie Wanneer kunt u tabellen partitioneren voor informatie over wanneer u uw OneLake-bestanden wilt partitioneren. Elke partitie wordt weergegeven als een afzonderlijke kolom met behulp van de PartitionName die wordt vermeld in de lijst Partities . Dit betekent dat uw OneLake-kopie meer kolommen heeft dan uw brontabel.

Als u uw deltatabellen wilt partitioneren, gebruikt u de opdracht .alter-merge table policy mirroring .

Deltatabellen opvragen

U kunt Fabric Notebook gebruiken om de OneLake-gegevens te lezen met behulp van het volgende codefragment.

Vervang in het codefragment <workspaceGuid>, <workspaceGuid>en <tableName> door uw eigen waarden.

delta_table_path = 'abfss://`<workspaceGuid>`@onelake.dfs.fabric.microsoft.com/`<eventhouseGuid>`/Tables/`<tableName>`'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://`<workspaceName>`@onelake.dfs.fabric.microsoft.com/`<itemName>`.KustoDatabase/Tables/`<tableName>`'

Gerelateerde inhoud

• Zie Een snelkoppeling maken in OneLake om de gegevens bloot te leggen
• Zie Wat zijn snelkoppelingen in Lakehouse? om een OneLake-snelkoppeling te maken in Lakehouse.
• Zie Een OneLake-snelkoppeling maken in de KQL-database om een query uit te voeren op gegevens uit OneLake in uw KQL-database of -tabel.