Adatbetöltési eszköz kiválasztása
Miután kiválasztott egy célplatformot az előzményadatokhoz, a következő lépés az adatok átvitelére szolgáló eszköz kiválasztása.
Ez a cikk az előzményadatok kiválasztott célplatformra való átviteléhez használt különböző eszközöket ismerteti. Ez a táblázat felsorolja az egyes célplatformokhoz elérhető eszközöket, valamint azokat az általános eszközöket, amelyek segítenek a betöltési folyamatban.
| Alapszintű Azure Monitor-naplók/archívum | Azure Adatkezelő | Azure Blob Storage | Általános eszközök |
|---|---|---|---|
| • Azure Monitor egyéni naplóbetöltési eszköz • Közvetlen API |
• LightIngest • Logstash |
• Azure Data Factory vagy Azure Synapse • AzCopy |
• Azure Data Box • SIEM-adatmigrálásgyorsító |
Alapszintű Azure Monitor-naplók/archívum
Mielőtt az Azure Monitor alapszintű naplóiba vagy archívumaiba betöltené az adatokat, az alacsonyabb betöltési árak érdekében győződjön meg arról, hogy az éppen írt tábla alapszintű naplókként van konfigurálva. Tekintse át az Azure Monitor egyéni naplóbetöltési eszközét és az Azure Monitor Alapszintű naplók közvetlen API-metódusát .
Azure Monitor egyéni naplóbetöltési eszköz
Az egyéni naplóbetöltési eszköz egy PowerShell-szkript, amely egyéni adatokat küld egy Azure Monitor Logs-munkaterületre. A szkriptet arra a mappára irányíthatja, amelyben az összes naplófájl található, és a szkript a fájlokat az adott mappába küldi. A szkript CSV- vagy JSON-formátumot fogad el a naplófájlokhoz.
Közvetlen API
Ezzel a beállítással betöltheti az egyéni naplókat az Azure Monitor-naplókba. A naplókat egy REST API-t használó PowerShell-szkripttel kell befoglalni. Másik lehetőségként bármilyen más programozási nyelvet használhat a betöltés végrehajtásához, és más Azure-szolgáltatások használatával absztrakcióra is használhatja a számítási réteget, például az Azure Functionst vagy az Azure Logic Appst.
Azure Adatkezelő
Az adatokat többféleképpen is betöltheti az Azure Data Explorerbe (ADX).
Az ADX által elfogadott betöltési módszerek különböző összetevőkön alapulnak:
- SDK-k különböző nyelvekhez, például .NET, Go, Python, Java, NodeJS és API-khoz.
- Felügyelt folyamatok, például az Event Grid vagy a Storage Blob Event Hubs és az Azure Data Factory.
- Összekötők vagy beépülő modulok, például Logstash, Kafka, Power Automate és Apache Spark.
Tekintse át a LightIngest és a Logstash metódust, amelyek jobban igazodnak az adatmigrálás használati esetéhez.
LightIngest
Az ADX kifejlesztette a LightIngest segédprogramot kifejezetten a korábbi adatmigrálási használati esetekhez. A LightIngest használatával adatokat másolhat egy helyi fájlrendszerből vagy az Azure Blob Storage-ból az ADX-be.
Íme néhány fő előnye és képessége LightIngest:
- Mivel nincs időkorlát a betöltési időtartamra, a LightIngest akkor hasznos, ha nagy mennyiségű adatot szeretne betölteni.
- A LightIngest akkor hasznos, ha a rekordokat a létrehozásuk időpontja szerint szeretné lekérdezni, és nem a betöltési időpontnak megfelelően.
- Nem kell foglalkoznia a LightIngest összetett méretezésével, mert a segédprogram nem végzi el a tényleges másolatot. A LightIngest tájékoztatja az ADX-et a másolandó blobokról, és az ADX átmásolja az adatokat.
Ha a LightIngest lehetőséget választja, tekintse át ezeket a tippeket és ajánlott eljárásokat.
- A migrálás felgyorsítása és a költségek csökkentése érdekében növelje az ADX-fürt méretét, hogy több elérhető csomópontot hozzon létre a betöltéshez. Az áttelepítés befejezése után csökkentse a méretet.
- Az adatok ADX-be való betöltése utáni hatékonyabb lekérdezések érdekében győződjön meg arról, hogy a másolt adatok az eredeti események időbélyegét használják. Az adatok nem használhatják az időbélyeget az adatok ADX-be való másolásakor. A CreationTime tulajdonság részeként adja meg a LightIngest időbélyegét a fájlnév elérési útjaként.
- Ha az elérési út vagy fájlnevek nem tartalmaznak időbélyeget, akkor is utasíthatja az ADX-et, hogy particionálási házirenddel rendszerezze az adatokat.
LogStash
A Logstash egy nyílt forráskód kiszolgálóoldali adatfeldolgozási folyamat, amely egyszerre több forrásból származó adatokat fogad be, átalakítja az adatokat, majd elküldi az adatokat a kedvenc "rejtekének". Megtudhatja, hogyan lehet adatokat betölteni a Logstashból az Azure Data Explorerbe. A Logstash Windows, Linux és macOS rendszerű gépeken fut.
A teljesítmény optimalizálásához konfigurálja a Logstash szint méretét a másodpercenkénti eseményeknek megfelelően. Javasoljuk, hogy ahol csak lehetséges, használja a LightIngestet , mert a LightIngest az ADX-fürt számítástechnikára támaszkodik a másolás elvégzéséhez.
Azure Blob Storage
Az Azure Blob Storage-ba többféleképpen is betölthet adatokat.
Tekintse át az Azure Data Factory (ADF) és az Azure Synapse metódusokat, amelyek jobban igazodnak az adatmigrálás használati esetéhez.
Azure Data Factory vagy Azure Synapse
A Copy tevékenység az Azure Data Factoryben (ADF) vagy a Synapse-folyamatokban való használatához:
- Saját üzemeltetésű integrációs modul létrehozása és konfigurálása. Ez az összetevő felel az adatok helyszíni gazdagépről történő másolásáért.
- Társított szolgáltatások létrehozása a forrásadattárhoz (fájlrendszer és fogadó adattár blobtároló).
- Az adatok másolásához használja az Adatok másolása eszközt. Másik lehetőségként használhat olyan módszereket, mint a PowerShell, az Azure Portal, a .NET SDK stb.
AzCopy
Az AzCopy egy egyszerű parancssori segédprogram, amely fájlokat másol a tárfiókokba vagy tárfiókokból. Az AzCopy Windows, Linux és macOS rendszeren érhető el. Megtudhatja, hogyan másolhat helyszíni adatokat az Azure Blob Storage-ba az AzCopy használatával.
Az adatok másolásához az alábbi lehetőségeket is használhatja:
- Megtudhatja, hogyan optimalizálhatja az AzCopy teljesítményét .
- Megtudhatja, hogyan konfigurálhatja az AzCopyt.
- Megtudhatja, hogyan használhatja a másolási parancsot.
Azure Data Box
Olyan esetben, amikor a forrás SIEM nem rendelkezik jó kapcsolattal az Azure-hoz, az adatok betöltése az ebben a szakaszban áttekintett eszközökkel lassú vagy akár lehetetlen is lehet. A forgatókönyv megoldásához az Azure Data Box használatával helyileg másolhatja az adatokat az ügyfél adatközpontjából egy berendezésbe, majd elküldheti a berendezést egy Azure-adatközpontba. Bár az Azure Data Box nem helyettesíti az AzCopyt vagy a LightIngestet, ezzel az eszközzel felgyorsíthatja az adatátvitelt az ügyfél adatközpontja és az Azure között.
Az Azure Data Box három különböző termékváltozatot kínál a migrálandó adatok mennyiségétől függően:
A migrálás befejezése után az adatok egy tárfiókban érhetők el az egyik Azure-előfizetésében. Ezután az AzCopy, a LightIngest vagy az ADF használatával betöltheti az adatokat a tárfiókból.
SIEM-adatmigrálásgyorsító
A betöltési eszköz kiválasztása mellett a csapatnak időt kell fordítania az alapkörnyezet beállítására. A folyamat megkönnyítése érdekében használhatja a SIEM adatmigrálási gyorsítóját, amely automatizálja a következő feladatokat:
- Üzembe helyez egy Windows rendszerű virtuális gépet, amely a naplók forrásból a célplatformra való áthelyezésére szolgál
- Letölti és kinyeri a következő eszközöket a virtuális gép asztalára:
- LightIngest: Adatok áttelepítése az ADX-be
- Azure Monitor Egyéni naplóbetöltési eszköz: Adatok Log Analyticsbe való migrálására szolgál
- AzCopy: Adatok migrálása az Azure Blob Storage-ba
- Üzembe helyezi az előzménynaplókat tároló célplatformot:
- Azure Storage-fiók (Azure Blob Storage)
- Azure Data Explorer-fürt és -adatbázis
- Azure Monitor Logs-munkaterület (Alapszintű naplók; engedélyezve a Microsoft Sentinel használatával)
A SIEM-adatmigrálásgyorsító használata:
- A SIEM adatmigrálásgyorsító lapján kattintson a lap alján található Üzembe helyezés az Azure-ban elemre, és hitelesítse a elemet.
- Válassza az Alapszintű beállítások lehetőséget, válassza ki az erőforráscsoportot és a helyet, majd válassza a Tovább lehetőséget.
- Válassza a Migrálási virtuális gép lehetőséget, és tegye a következőket:
- Írja be a virtuális gép nevét, felhasználónevét és jelszavát.
- Válasszon ki egy meglévő virtuális hálózatot, vagy hozzon létre egy új virtuális hálózatot a virtuálisgép-kapcsolathoz.
- Válassza ki a virtuális gép méretét.
- Válassza a Célplatform lehetőséget , és tegye az alábbiak egyikét:
- Hagyja ki ezt a lépést.
- Adja meg az ADX-fürtöt és az adatbázis nevét, termékváltozatát és csomópontjainak számát.
- Azure Blob Storage-fiókok esetén válasszon ki egy meglévő fiókot. Ha nem rendelkezik fiókkal, adjon meg egy új fióknevet, típust és redundanciát.
- Az Azure Monitor-naplókhoz írja be az új munkaterület nevét.
Következő lépések
Ebben a cikkben megtanulta, hogyan választhat ki egy eszközt az adatok célplatformba való betöltéséhez.