Megosztás a következőn keresztül:


Az Azure Data Factory monitorozása

Ez a cikk a következőket ismerteti:

  • A szolgáltatáshoz gyűjthető monitorozási adatok típusai.
  • Az adatok elemzésének módjai.

Feljegyzés

Ha már ismeri ezt a szolgáltatást és/vagy az Azure Monitort, és csak tudni szeretné, hogyan elemezheti a figyelési adatokat, tekintse meg a cikk végén található Elemzés szakaszt.

Ha olyan kritikus alkalmazásokkal és üzleti folyamatokkal rendelkezik, amelyek Az Azure-erőforrásokra támaszkodnak, figyelnie kell és riasztásokat kell kapnia a rendszeréről. Az Azure Monitor szolgáltatás a rendszer minden összetevőjéből gyűjti és összesíti a metrikákat és naplókat. Az Azure Monitor áttekintést nyújt a rendelkezésre állásról, a teljesítményről és a rugalmasságról, és értesíti Önt a problémákról. A monitorozási adatok beállításához és megtekintéséhez használhatja az Azure Portalt, a PowerShellt, az Azure CLI-t, a REST API-t vagy az ügyfélkódtárakat.

Monitorozási módszerek

Az Azure Data Factory monitorozásának számos módja van.

Azure Data Factory Studio

Az Azure Data Factory Studióban natív módon figyelheti az összes Data Factory-folyamatot. A monitorozási felület megnyitásához válassza a Start Studio lehetőséget a Data Factory oldalán az Azure Portalon, az Azure Data Factory Studióban pedig a figyelés lehetőséget a bal oldali menüből.

Az Azure Data Factory Studio monitorozásával kapcsolatos további információkért tekintse meg az alábbi cikkeket:

Azure Portal

Az Azure Data Factoryt közvetlenül az Azure Portalról is figyelheti. A Data Factory Azure Portal áttekintési oldalán számos metrikariagráf jelenik meg. A bal oldali oldalsáv menüjében elérheti az Azure-tevékenységnaplót, vagy a Figyelés szakaszban kiválaszthatja a Riasztások, Metrikák, Diagnosztikai beállítások vagy Naplók lehetőséget.

Monitorozás programozott módon

A Data Factory-folyamatokat programozott módon monitorozhatja a .NET, a PowerShell, a Python vagy a REST API használatával. További információért tekintse át az alábbi cikkeket:

Erőforrástípusok

Az Azure az erőforrástípusok és azonosítók fogalmát használja az előfizetések minden elemének azonosítására. Az erőforrástípusok az Azure-ban futó összes erőforrás erőforrásazonosítóinak is részét képezik. A virtuális gépek egyik erőforrástípusa például az Microsoft.Compute/virtualMachines. A szolgáltatások és a hozzájuk kapcsolódó erőforrástípusok listáját az Erőforrás-szolgáltatók című témakörben találja.

Az Azure Monitor hasonlóan rendszerezi az alapvető monitorozási adatokat metrikákba és naplókba az erőforrástípusok, más néven névterek alapján. Különböző metrikák és naplók érhetők el a különböző erőforrástípusokhoz. Előfordulhat, hogy a szolgáltatás több erőforrástípushoz is társítva van.

Az Azure Data Factory erőforrástípusairól további információt a Data Factory monitorozási adatainak referenciaanyagában talál.

Adattárolás

Azure Monitor esetén:

  • A metrikák adatait az Azure Monitor metrikák adatbázisa tárolja.
  • A naplóadatok tárolása az Azure Monitor naplók tárolójában történik. A Log Analytics egy eszköz az Azure Portalon, amely le tudja kérdezni ezt az áruházat.
  • Az Azure-tevékenységnapló egy külön tároló, amelynek saját felülete van az Azure Portalon.

A metrikák és a tevékenységnaplók adatait igény szerint átirányíthatja az Azure Monitor-naplók tárolójába. Ezután a Log Analytics használatával lekérdezheti az adatokat, és összehasonlíthatja azokat más naplóadatokkal.

Számos szolgáltatás diagnosztikai beállításokkal küldhet metrikákat és naplóadatokat az Azure Monitoron kívüli más tárolóhelyekre. Ilyenek például az Azure Storage, a üzemeltetett partnerrendszerek és a nem Azure-beli partnerrendszerek az Event Hubs használatával.

Az Azure Monitor adatainak tárolásáról az Azure Monitor adatplatformja nyújt részletes tájékoztatást.

Data Factory-folyamat futtatási adatainak tárolása

A Data Factory csak 45 napig tárolja a folyamatfuttatási adatokat. Ha hosszabb ideig szeretné megőrizni az adatokat, az Azure Monitor használatával irányíthatja a diagnosztikai naplókat.

Ha összetett lekérdezésekkel szeretné elemezni az adatokat, egyéni riasztásokat szeretne létrehozni, vagy adat-előállítókon keresztül szeretné figyelni az adatokat a Log Analyticsbe. Több adat-előállító adatait egyetlen Log Analytics-munkaterületre irányíthatja.

Használhat olyan tárfiókot vagy eseményközpont-névteret, amely nem szerepel a naplókat kibocsátó erőforrás előfizetésében. A beállítást konfiguráló felhasználónak megfelelő Azure-szerepköralapú hozzáférés-vezérlési (Azure RBAC) hozzáféréssel kell rendelkeznie mindkét előfizetéshez.

Az Azure Monitor platformmetrikái

Az Azure Monitor platformmetrikát biztosít a legtöbb szolgáltatáshoz. Ezek a metrikák a következők:

  • Egyedileg definiálva minden névtérhez.
  • Az Azure Monitor idősoros metrikák adatbázisában tárolva.
  • Könnyű és képes közel valós idejű riasztások támogatására.
  • Egy erőforrás teljesítményének nyomon követésére szolgál az idő függvényében.

Gyűjtemény: Az Azure Monitor automatikusan gyűjti a platformmetrikákat. Nem igényel konfigurálást.

Útválasztás: Egyes platformmetrikákat az Azure Monitor-naplókba/ Log Analyticsbe is átirányíthat, hogy más naplóadatokkal is lekérdezhesse őket. Ellenőrizze az egyes metrikák DS-exportálási beállításait, és ellenőrizze, hogy használhat-e diagnosztikai beállítást a metrika Azure Monitor-naplókhoz/ Log Analyticshez való átirányításához.

Az Azure Monitor összes erőforrásához gyűjthető metrikák listájáért tekintse meg az Azure Monitor támogatott metrikáit.

A Data Factoryhez elérhető metrikák listájáért tekintse meg a Data Factory monitorozási adatreferenciáját.

Azure Monitor-erőforrásnaplók

Az erőforrásnaplók betekintést nyújtanak az Azure-erőforrások által végrehajtott műveletekbe. A naplók automatikusan jönnek létre, de a mentésükhöz vagy lekérdezésükhöz az Azure Monitor naplóihoz kell irányítani őket. A naplók kategóriákba vannak rendezve. Egy adott névtér több erőforrásnapló-kategóriával is rendelkezhet.

Gyűjtemény: Az erőforrásnaplók csak akkor lesznek összegyűjtve és tárolva, ha diagnosztikai beállítást hoz létre, és a naplókat egy vagy több helyre irányítja. Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállításokat többféleképpen is létrehozhatja és karbantarthatja, beleértve az Azure Portalt is, programozott módon, és bár az Azure Policyt.

Útválasztás: A javasolt alapértelmezett beállítás az erőforrásnaplók Azure Monitor-naplókba való átirányítása, hogy más naplóadatokkal is lekérdezhesse őket. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. További információ: Azure-erőforrásnaplók és erőforrásnapló-célhelyek.

Az erőforrásnaplók gyűjtésével, tárolásával és útválasztásával kapcsolatos részletes információkért tekintse meg az Azure Monitor diagnosztikai beállításait.

Az Azure Monitor összes elérhető erőforrásnapló-kategóriájának listáját lásd: Támogatott erőforrásnaplók az Azure Monitorban.

Az Azure Monitor összes erőforrásnaplója ugyanazokkal a fejlécmezőkkel rendelkezik, amelyeket a szolgáltatásspecifikus mezők követnek. A közös sémát az Azure Monitor erőforrásnapló-sémája ismerteti.

Azure-tevékenységnapló

A tevékenységnapló előfizetésszintű eseményeket tartalmaz, amelyek nyomon követik az egyes Azure-erőforrások műveleteit az adott erőforráson kívülről látható módon; például új erőforrás létrehozása vagy virtuális gép indítása.

Gyűjtemény: A tevékenységnapló-események automatikusan létrejönnek, és egy külön tárolóban lesznek összegyűjtve az Azure Portalon való megtekintéshez.

Útválasztás: Tevékenységnapló-adatokat küldhet az Azure Monitor-naplókba, hogy más naplóadatokkal együtt elemezhesse azokat. Más helyek is elérhetők, például az Azure Storage, az Azure Event Hubs és bizonyos Microsoft monitorozási partnerek. A tevékenységnapló irányításával kapcsolatos további információkért tekintse meg az Azure-tevékenységnapló áttekintését.

Integrációs futtatókörnyezetek monitorozása

Az integrációs modul az a számítási infrastruktúra, a Data Factory, amely különböző hálózati környezetekben biztosít adatintegrációs képességeket. A Data Factory többféle integrációs modult kínál:

  • Azure integrációs modul
  • Helyi integrációs modul
  • Azure-SQL Server Integration Services (SSIS) integrációs modul
  • Apache Airflow integrációs modul

Az Azure Monitor metrikákat és diagnosztikai naplókat gyűjt az integrációs futtatókörnyezetek minden típusához. Az integrációs futtatókörnyezetek monitorozásával kapcsolatos részletes utasításokért tekintse meg az alábbi cikkeket:

Monitorozási adatok elemzése

A monitorozási adatok elemzésére számos eszköz áll rendelkezésre.

Azure Monitor-eszközök

Az Azure Monitor a következő alapvető eszközöket támogatja:

Az összetettebb vizualizációt lehetővé tevő eszközök a következők:

  • Irányítópultok , amelyek lehetővé teszik, hogy különböző típusú adatokat egyesítsen egyetlen panelen az Azure Portalon.
  • Az Azure Portalon létrehozható munkafüzetek, testreszabható jelentések. A munkafüzetek tartalmazhatnak szöveget, metrikákat és napló lekérdezéseket.
  • Grafana, egy nyíltplatformos eszköz, amely kiválóan működik az irányítópultokon. A Grafana használatával olyan irányítópultokat hozhat létre, amelyek az Azure Monitoron kívül több forrásból származó adatokat is tartalmaznak.
  • A Power BI egy üzleti elemzési szolgáltatás, amely interaktív vizualizációkat biztosít különböző adatforrásokban. A Power BI-t úgy konfigurálhatja, hogy automatikusan importálja a naplóadatokat az Azure Monitorból a vizualizációk előnyeinek kihasználásához.

Az Azure Monitor exportálási eszközei

Az Azure Monitorból más eszközökre is lekérheti az adatokat az alábbi módszerekkel:

Az Azure MonitorHOZ készült REST API használatának megkezdéséhez tekintse meg az Azure monitoring REST API-útmutatót.

A diagnosztikai naplók REST API-val történő konfigurálásával kapcsolatos részletes utasításokért lásd : Diagnosztikai naplók beállítása az Azure Monitor REST API-n keresztül.

Kusto-lekérdezések

A monitorozási adatokat az Azure Monitor Naplók/ Log Analytics-tárolóban a Kusto lekérdezési nyelv (KQL) használatával elemezheti.

Fontos

Amikor a portálon a szolgáltatás menüjében a Naplók lehetőséget választja, megnyílik a Log Analytics, és a lekérdezés hatóköre az aktuális szolgáltatásra van állítva. Ez a hatókör azt jelenti, hogy a napló lekérdezései csak az adott típusú erőforrásból származó adatokat tartalmazzák. Ha más Azure-szolgáltatásokból származó adatokat tartalmazó lekérdezést szeretne futtatni, válassza a Naplók lehetőséget az Azure Monitor menüjében. A részletekért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.

A szolgáltatások gyakori lekérdezéseinek listáját a Log Analytics lekérdezési felületén találja.

Például lekérdezések esetén válassza a Naplók lehetőséget a Monitorozás alatt a Data Factory lap bal oldali navigációs sávján az Azure Portalon, majd válassza a Lekérdezések lapot. Íme néhány példa lekérdezés:

PipelineRuns rendelkezésre állása: Megadja a folyamatfuttatások rendelkezésre állását.

ADFPipelineRun
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| summarize availability = 100.00 - (100.00*countif(Status != 'Succeeded') / count())  by bin(TimeGenerated, 1h)), _ResourceId
| order by TimeGenerated asc
| render timechart

A tevékenység az első 5 hibát futtatja: Az első öt olyan tevékenységet adja vissza, amelyek rendszerhibákkal meghiúsulnak.

ADFActivityRun 
| where TimeGenerated >= ago(24h)
| where Status != 'InProgress' and Status != 'Queued'
| where FailureType != 'UserError'
| where ActivityName  in (name)
| summarize failureCount = countif(Status != 'Succeeded') by bin(TimeGenerated, 1h), ActivityName
| top 5 by failureCount desc nulls last
| order by TimeGenerated asc
| render timechart

Folyamatfuttatások legújabb állapota: A folyamatfuttatások legújabb állapotát adja vissza.

ADFPipelineRun
| summarize argmax(TimeGenerated, * ) by RunId, Status, _ResourceId

Riasztások

Az Azure Monitor-riasztások proaktív módon értesítik, ha adott feltételek találhatók a monitorozási adatokban. A riasztások lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt az ügyfelek észrevennénk őket. További információ: Azure Monitor-riasztások.

Az Azure-erőforrásokra vonatkozó gyakori riasztások számos forrásból állnak. Az Azure-erőforrásokra vonatkozó gyakori riasztások példáiért lásd a naplóriasztási lekérdezéseket. Az Azure Monitor Alapszintű riasztások (AMBA) webhelye félautomata módszert biztosít a fontos platformmetrika-riasztások, irányítópultok és irányelvek implementálására. A webhely az Azure-szolgáltatások folyamatosan bővülő részhalmazára vonatkozik, beleértve az Azure Landing Zone (ALZ) részét képező összes szolgáltatást is.

A gyakori riasztási séma szabványosítja az Azure Monitor riasztási értesítéseinek használatát. További információ: Gyakori riasztási séma.

Riasztások típusai

Az Azure Monitor adatplatformon bármilyen metrika- vagy naplóadatforrásról riasztást készíthet. A figyelt szolgáltatásoktól és a gyűjtött monitorozási adatoktól függően számos különböző típusú riasztás létezik. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek. További információ: A megfelelő figyelési riasztástípus kiválasztása.

Az alábbi lista a létrehozható Azure Monitor-riasztások típusait ismerteti:

  • A metrikariasztások rendszeres időközönként értékelik ki az erőforrásmetrikákat. A metrikák lehetnek platformmetrikák, egyéni metrikák, az Azure Monitorból metrikákká konvertált naplók vagy Application Insights-metrikák. A metrikariasztások több feltételt és dinamikus küszöbértéket is alkalmazhatnak.
  • A naplóriasztások lehetővé teszik, hogy a felhasználók Log Analytics-lekérdezéssel kiértékeljék az erőforrásnaplókat egy előre meghatározott gyakorisággal.
  • A tevékenységnapló-riasztások akkor aktiválnak, ha egy új tevékenységnapló-esemény következik be, amely megfelel a megadott feltételeknek. A Resource Health-riasztások és a Service Health-riasztások olyan tevékenységnapló-riasztások, amelyek jelentést jelentenek a szolgáltatásról és az erőforrás állapotáról.

Egyes Azure-szolgáltatások intelligens észlelési riasztásokat, Prometheus-riasztásokat vagy ajánlott riasztási szabályokat is támogatnak.

Egyes szolgáltatások esetében nagy léptékben monitorozhat, ha ugyanazt a metrikariasztási szabályt több, azonos típusú erőforrásra alkalmazza, amelyek ugyanabban az Azure-régióban léteznek. Minden figyelt erőforráshoz külön értesítéseket küld a rendszer. A támogatott Azure-szolgáltatásokról és felhőkről lásd : Több erőforrás monitorozása egyetlen riasztási szabmánnyal.

Data Factory riasztási szabályai

Riasztások létrehozásához és kezeléséhez válassza a Riasztások lehetőséget a Monitorozás területen a Data Factory bal oldali navigációs sávján az Azure Portalon.

Az alábbi táblázat a Data Factory népszerű riasztási szabályait sorolja fel. Ez csak egy ajánlott lista. Riasztásokat állíthat be a Data Factory monitorozási adatreferenciájában felsorolt metrikákhoz, naplóbejegyzésekhez vagy tevékenységnapló-bejegyzésekhez.

Riasztástípus Feltétel Leírás
Metrika A sikertelen folyamat metrikákat futtat Ha a teljes sikertelen folyamat futtatása metrikái 0-nál nagyobbak
Metrika Entitások teljes száma Ha a teljes entitások maximális száma nagyobb, mint 1700000
Metrika Engedélyezett entitások maximális száma Ha a maximális gyári méret (GB-egység) nagyobb, mint 6

Az értesítések proaktív riasztást biztosítanak egy folyamat végrehajtása során vagy után.

Az Advisor javaslatai

Egyes szolgáltatások esetében, ha az erőforrás-műveletek során kritikus feltételek vagy közelgő változások lépnek fel, riasztás jelenik meg a portál szolgáltatásáttekintő lapján. A riasztással kapcsolatos további információkat és javasolt javításokat a bal oldali menü Figyelés területén található Advisor-javaslatok között találja. Normál műveletek során nem jelennek meg tanácsadói javaslatok.

Az Azure Advisorról további információt az Azure Advisor áttekintésében talál.

  • A Data Factory számára létrehozott metrikák, naplók és egyéb fontos értékek referenciáját a Data Factory monitorozási adathivatkozásában talál.
  • Az Azure-erőforrások monitorozásával kapcsolatos általános részletekért tekintse meg az Azure-erőforrások Monitorozása az Azure Monitorral című témakört.