Az Azure Data Factory monitorozási adatainak referenciája

Ez a cikk a szolgáltatás figyelési referenciaadatait tartalmazza.

Az Azure Data Factoryhez gyűjthető adatokról és azok használatáról a Data Factory monitorozása című témakörben tájékozódhat.

Mérőszámok

Ez a szakasz a szolgáltatáshoz automatikusan gyűjtött platformmetrikákat sorolja fel. Ezek a metrikák az Azure Monitorban támogatott összes platformmetrika globális listájának részét képezik.

A metrikamegőrzésről további információt az Azure Monitor Metrics áttekintésében talál.

A Microsoft.DataFactory/datafactories támogatott metrikái

Az alábbi táblázat a Microsoft.DataFactory/datafactories erőforrástípushoz elérhető metrikákat sorolja fel.

• Előfordulhat, hogy nem minden oszlop szerepel minden táblában.
• Előfordulhat, hogy egyes oszlopok a lap megtekintési területén kívül esnek. Válassza a Táblázat kibontása lehetőséget az összes elérhető oszlop megtekintéséhez.

Táblázatfejlécek

• Kategória – A metrikák csoportja vagy besorolása.
• Metrika – A metrika megjelenítendő neve az Azure Portalon.
• Név a REST API-ban – A REST API-ban említett metrikanév.
• Egység – Mértékegység.
• Összesítés – Az alapértelmezett összesítési típus. Érvényes értékek: Átlag (Avg), Minimum (Min), Maximum (Max), Összeg (Összeg), Darabszám.
• A metrikához elérhető dimenziók - dimenziói.
• Időszemcse-intervallumok - , amelyeken a metrika mintavétele történik. Például azt jelzi, PT1M hogy a metrika mintavétele percenként, PT30M 30 percenként, PT1H óránként és így tovább történik.
• DS Export – Azt jelzi, hogy a metrika exportálható-e az Azure Monitor-naplókba diagnosztikai beállításokon keresztül. A metrikák exportálásával kapcsolatos információkért lásd: Diagnosztikai beállítások létrehozása az Azure Monitorban.

A Microsoft.DataFactory/-gyárak által támogatott metrikák

Az alábbi táblázat a Microsoft.DataFactory/factoryies erőforrástípushoz elérhető metrikákat sorolja fel.

• Előfordulhat, hogy nem minden oszlop szerepel minden táblában.
• Előfordulhat, hogy egyes oszlopok a lap megtekintési területén kívül esnek. Válassza a Táblázat kibontása lehetőséget az összes elérhető oszlop megtekintéséhez.

Táblázatfejlécek

• Kategória – A metrikák csoportja vagy besorolása.
• Metrika – A metrika megjelenítendő neve az Azure Portalon.
• Név a REST API-ban – A REST API-ban említett metrikanév.
• Egység – Mértékegység.
• Összesítés – Az alapértelmezett összesítési típus. Érvényes értékek: Átlag (Avg), Minimum (Min), Maximum (Max), Összeg (Összeg), Darabszám.
• A metrikához elérhető dimenziók - dimenziói.
• Időszemcse-intervallumok - , amelyeken a metrika mintavétele történik. Például azt jelzi, PT1M hogy a metrika mintavétele percenként, PT30M 30 percenként, PT1H óránként és így tovább történik.
• DS Export – Azt jelzi, hogy a metrika exportálható-e az Azure Monitor-naplókba diagnosztikai beállításokon keresztül. A metrikák exportálásával kapcsolatos információkért lásd: Diagnosztikai beállítások létrehozása az Azure Monitorban.

Metrikadimenziók

A metrikák dimenzióiról további információt a többdimenziós metrikák című témakörben talál.

Ennek a szolgáltatásnak a metrikáihoz a következő dimenziók vannak társítva.

Microsoft.DataFactory/datafactories

• pipelineName
• activityName

Microsoft.DataFactory/factorys

• ActivityType
• PipelineName
• FailureType
• Név
• IntegrationRuntimeName
• ContainerName
• DagFile
• DagId
• ComputeNodeSize
• Állás
• Operátor
• Készlet
• TaskId
• Állapot
• NodeName
• CancelledBy
• Futtatási azonosító

Erőforrásnaplók

Ez a szakasz a szolgáltatáshoz gyűjthető erőforrásnaplók típusait sorolja fel. A szakasz lekéri az Azure Monitorban támogatott összes erőforrásnapló-kategóriatípus listáját.

A Microsoft.DataFactory/gyárak támogatott erőforrásnaplói

Azure Monitor-naplók táblái

Ez a szakasz a szolgáltatáshoz kapcsolódó Azure Monitor-naplók tábláit sorolja fel, amelyek a Log Analytics által Kusto-lekérdezésekkel történő lekérdezéshez érhetők el. A táblák erőforrásnapló-adatokat tartalmaznak, és valószínűleg többet is, attól függően, hogy mit gyűjtenek és irányítanak hozzájuk.

Adat-előállítók

Microsoft.DataFactory/factorys

• AzureActivity
• AzureMetrics
• AzureDiagnostics
• ADFActivityRun
• ADFPipelineRun
• ADFTriggerRun
• ADFSandboxActivityRun
• ADFSandboxPipelineRun
• ADFSSISIntegrationRuntimeLogs
• ADFSSISPackageEventMessageContext
• ADFSSISPackageEventMessages
• ADFSSISPackageExecutableStatistics
• ADFSSISPackageExecutionComponentPhases
• ADFSSISPackageExecutionDataStatistics

Naplók és események monitorozása és Log Analytics-sémái

Ez a szakasz felsorolja azokat az attribútumokat, amelyeket az Azure Monitor- és Log Analytics-sémák a naplók és események monitorozásához használnak.

A Log Analytics az alábbi kivételekkel örökli a sémát az Azure Monitortól:

• Az egyes oszlopok nevének első betűje nagybetűs. A Monitor oszlopnév-korrelációs azonosítója például a Log Analytics CorrelationId azonosítója.

• Nincs Szint oszlop.

• A dinamikus tulajdonságok oszlop a következő dinamikus JSON-blobtípusként marad meg.

  Azure Monitor oszlop	Log Analytics oszlop	Típus
  $.properties. UserProperties	UserProperties	Dinamikus
  $.properties. Széljegyzetek	Jegyzetek	Dinamikus
  $.properties. Bemenet	Bevitel	Dinamikus
  $.properties. Hozam	Hozam	Dinamikus
  $.properties. Error.errorCode	ErrorCode	egész
  $.properties. Error.message	ErrorMessage	húr
  $.properties. Hiba	Hiba	Dinamikus
  $.properties. Elődök	Megelőző tevékenységek	Dinamikus
  $.properties. Paraméterek	Paraméterek	Dinamikus
  $.properties. SystemParameters	SystemParameters	Dinamikus
  $.properties. Címkék	Címkék	Dinamikus

Tevékenységalapú naplóattribútumok

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}

Folyamatfuttatású naplóattribútumok

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "location": "",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      },
      "Predecessors": [
            {
                "Name": "",
                "Id": "",
                "InvokedByType": ""
            }
        ]
    }
}

Eseményindító által futtatott naplóattribútumok

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}

SSIS integrációs modul naplóattribútumai

Íme az SQL Server Integration Services (SSIS) integrációs modul (IR) indítási, leállítási és karbantartási műveleteinek naplóattribútumai.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "resultType": "",
   "properties": {
      "message": ""
   },
   "resourceId": ""
}

SSIS-eseményüzenet környezeti naplóattribútumai

Az alábbiakban az SSIS-csomagvégrehajtások által az SSIS integrációs modulon létrehozott eseményüzenetekhez kapcsolódó feltételek naplóattribútumait mutatjuk be. Hasonló információkat közvetítenek, mint egy SSIS-katalógus (SSISDB) eseményüzenetének környezeti táblázata vagy nézete , amely számos SSIS-csomagtulajdonság futásidejű értékeit jeleníti meg. Ezek akkor jönnek létre, amikor kiválasztja Basic/Verbose a naplózási szintet, és hasznos a hibakereséshez vagy a megfelelőség ellenőrzéséhez.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "contextDepth": "",
      "packagePath": "",
      "contextType": "",
      "contextSourceName": "",
      "contextSourceId": "",
      "propertyName": "",
      "propertyValue": ""
   },
   "resourceId": ""
}

SSIS-eseményüzenetek naplóattribútumai

Íme az SSIS-csomagvégrehajtások által az SSIS IR-en létrehozott eseményüzenetek naplóattribútumai. Hasonló információkat közvetítenek, mint egy SSISDB-eseményüzenetek táblázata vagy nézete , amely az eseményüzenetek részletes szövegét vagy metaadatait jeleníti meg. Ezek a naplózási szinteken jönnek létre, kivéve None.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "messageTime": "",
      "messageType": "",
      "messageSourceType": "",
      "message": "",
      "packageName": "",
      "eventName": "",
      "messageSourceName": "",
      "messageSourceId": "",
      "subcomponentName": "",
      "packagePath": "",
      "executionPath": "",
      "threadId": ""
   }
}

SSIS végrehajtható statisztikai naplóattribútumok

Íme a végrehajtható statisztikák naplóattribútumai, amelyeket az SSIS-csomagvégrehajtások hoznak létre az SSIS-integrációs modulon, ahol a végrehajtható adatok tárolók vagy feladatok a csomagok vezérlési folyamatában. Hasonló információkat közvetítenek, mint egy SSISDB végrehajtható statisztikai táblázat vagy nézet , amely az egyes futtatható végrehajtható elemek sorait jeleníti meg, beleértve azok iterációit is. A rendszer bármilyen naplózási szinten létrehozza őket, kivéve None és hasznos a tevékenységszintű szűk keresztmetszetek vagy hibák azonosításához.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "executionPath": "",
      "startTime": "",
      "endTime": "",
      "executionDuration": "",
      "executionResult": "",
      "executionValue": ""
   },
   "resourceId": ""
}

SSIS végrehajtási összetevő fázisainak naplóattribútumai

Az alábbiakban az SSIS-csomagvégrehajtások által az SSIS integrációs modulon létrehozott adatfolyam-összetevők futtatókörnyezeti statisztikáinak naplóattribútumait mutatjuk be. Hasonló információkat közvetítenek, mint egy SSISDB végrehajtási összetevő fázisainak táblázata vagy nézete , amely az adatfolyam-összetevők által az összes végrehajtási fázisban eltöltött időt jeleníti meg. Ezek a naplózási szint kiválasztásakor Performance/Verbose jönnek létre, és hasznosak az adatfolyam-végrehajtási statisztikák rögzítéséhez.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "subcomponentName": "",
      "phase": "",
      "startTime": "",
      "endTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

SSIS végrehajtási adatstatisztikai naplóattribútumok

Az alábbi naplóattribútumok az adatfolyam-folyamatok minden egyes szakaszán áthaladnak, a felsőbb rétegtől az alsóbb rétegbeli összetevőkig, amelyeket az SSIS-csomagvégrehajtások hoznak létre az SSIS integrációs modulon. Hasonló információkat közvetítenek, mint egy SSISDB végrehajtási adatstatisztikai táblázat vagy nézet , amely az adatfolyam-feladatokon átvitt adatok sorszámát jeleníti meg. Ezek akkor jönnek létre, amikor kiválasztja Verbose a naplózási szintet, és hasznos az adatfolyamok átviteli sebességének kiszámításához.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "dataflowPathIdString": "",
      "dataflowPathName": "",
      "sourceComponentName": "",
      "destinationComponentName": "",
      "rowsSent": "",
      "createdTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Tevékenységnapló

A csatolt tábla felsorolja a szolgáltatás tevékenységnaplójában rögzíthető műveleteket. Ezek a műveletek a tevékenységnapló összes lehetséges erőforrás-szolgáltatói műveletének egy részét képezik.

A tevékenységnapló-bejegyzések sémájára vonatkozó további információkért lásd : Tevékenységnapló séma.

• Microsoft.DataFactory erőforrás-szolgáltatói műveletek

Kapcsolódó tartalom

• Data Factory monitorozása
• Azure-erőforrások monitorozása az Azure Monitor segítségével
• Monitorozás programozott módon SDK-k használatával