Adatok másolása Azure AI Search-indexbe az Azure Data Factory vagy a Synapse Analytics használatával
A következőkre vonatkozik: Azure Data Factory
Azure Synapse Analytics
Tipp.
Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!
Ez a cikk azt ismerteti, hogyan másolhat adatokat az Azure AI Search-indexbe az Azure Data Factory vagy a Synapse Analytics-folyamat másolási tevékenységével. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.
Támogatott képességek
Ez az Azure AI Search-összekötő a következő képességeket támogatja:
Támogatott képességek | IR | Felügyelt privát végpont |
---|---|---|
Copy tevékenység (-/fogadó) | (1) (2) | ✓ |
(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul
Bármilyen támogatott forrásadattárból másolhat adatokat a keresési indexbe. A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.
Első lépések
A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:
- Az Adatok másolása eszköz
- Az Azure Portal
- A .NET SDK
- A Python SDK
- Azure PowerShell
- A REST API
- Az Azure Resource Manager-sablon
Társított szolgáltatás létrehozása az Azure Search szolgáltatáshoz felhasználói felületen
Az alábbi lépésekkel létrehozhat egy társított szolgáltatást az Azure Search szolgáltatáshoz az Azure Portal felhasználói felületén.
Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
Keressen rá a keresésre, és válassza ki az Azure Search-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.
Az összekötő konfigurációjának részletei
Az alábbi szakaszok az Azure AI Search-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.
Társított szolgáltatás tulajdonságai
Az Azure AI Search társított szolgáltatásához a következő tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A típustulajdonságnak a következőnek kell lennie: AzureSearch | Igen |
url | A keresési szolgáltatás URL-címe. | Igen |
kulcs | A keresési szolgáltatás rendszergazdai kulcsa. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. | Igen |
connectVia | Az adattárhoz való csatlakozáshoz használandó integrációs modul . Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult (ha az adattár magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja. | Nem |
Fontos
Amikor adatokat másol egy felhőbeli adattárból a keresési indexbe, az Azure AI Search társított szolgáltatásban egy Azure Integration Runtime-ra kell hivatkoznia explicit régióval a connectVia-ban. Állítsa be azt a régiót, ahol a keresési szolgáltatás található. További információ az Azure Integration Runtime-ról.
Példa:
{
"name": "AzureSearchLinkedService",
"properties": {
"type": "AzureSearch",
"typeProperties": {
"url": "https://<service>.search.windows.net",
"key": {
"type": "SecureString",
"value": "<AdminKey>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Adathalmaz tulajdonságai
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz az Azure AI Search-adatkészlet által támogatott tulajdonságok listáját tartalmazza.
Az adatok Azure AI Searchbe való másolásához a következő tulajdonságok támogatottak:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | Az adathalmaz típustulajdonságának a következőnek kell lennie: AzureSearchIndex | Igen |
indexNév | A keresési index neve. A szolgáltatás nem hozza létre az indexet. Az indexnek léteznie kell az Azure AI Searchben. | Igen |
Példa:
{
"name": "AzureSearchIndexDataset",
"properties": {
"type": "AzureSearchIndex",
"typeProperties" : {
"indexName": "products"
},
"schema": [],
"linkedServiceName": {
"referenceName": "<Azure AI Search linked service name>",
"type": "LinkedServiceReference"
}
}
}
Másolási tevékenység tulajdonságai
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Azure AI Search-forrás által támogatott tulajdonságok listáját tartalmazza.
Azure AI Search fogadóként
Az adatok Azure AI Searchbe való másolásához állítsa be a másolási tevékenység forrástípusát az AzureSearchIndexSinkre. A másolási tevékenység fogadó szakasza a következő tulajdonságokat támogatja:
Tulajdonság | Leírás | Kötelező |
---|---|---|
típus | A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: AzureSearchIndexSink | Igen |
writeBehavior | Megadja, hogy egyesíteni vagy cserélni kell-e, ha egy dokumentum már létezik az indexben. Lásd a WriteBehavior tulajdonságot. Az engedélyezett értékek a következők: Egyesítés (alapértelmezett) és Feltöltés. |
Nem |
writeBatchSize | Adatokat tölt fel a keresési indexbe, amikor a puffer mérete eléri a writeBatchSize értéket. Részletekért tekintse meg a WriteBatchSize tulajdonságot . Az engedélyezett értékek a következők: 1 és 1000 között; alapértelmezett értéke 1000. |
Nem |
maxConcurrentConnections | Az adattárhoz a tevékenység futtatása során létrehozott egyidejű kapcsolatok felső korlátja. Csak akkor adjon meg értéket, ha korlátozni szeretné az egyidejű kapcsolatokat. | Nem |
WriteBehavior tulajdonság
AzureSearchSink upserts adatok írásakor. Más szóval egy dokumentum írásakor, ha a dokumentumkulcs már létezik a keresési indexben, az Azure AI Search az ütközési kivétel helyett frissíti a meglévő dokumentumot.
Az AzureSearchSink a következő két upsert viselkedést biztosítja (az AzureSearch SDK használatával):
- Egyesítés: egyesítse az új dokumentum összes oszlopát a meglévővel. Az új dokumentumban null értékű oszlopok esetén a meglévő érték megmarad.
- Feltöltés: Az új dokumentum lecseréli a meglévőt. Az új dokumentumban nem megadott oszlopok esetében az érték null értékre van állítva, függetlenül attól, hogy a meglévő dokumentumban van-e nem null érték.
Az alapértelmezett viselkedés az Egyesítés.
WriteBatchSize tulajdonság
Az Azure AI Search szolgáltatás támogatja a dokumentumok kötegként való írását. A kötegek 1–1000 műveletet tartalmazhatnak. Egy művelet egy dokumentumot kezel a feltöltési/egyesítési művelet végrehajtásához.
Példa:
"activities":[
{
"name": "CopyToAzureSearch",
"type": "Copy",
"inputs": [
{
"referenceName": "<input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<Azure AI Search output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "<source type>"
},
"sink": {
"type": "AzureSearchIndexSink",
"writeBehavior": "Merge"
}
}
}
]
Adattípus támogatása
Az alábbi táblázat azt határozza meg, hogy támogatott-e az Azure AI Search adattípusa.
Az Azure AI Search adattípusa | Támogatott az Azure AI Search Sinkben |
---|---|
Sztring | I |
Int32 | I |
Int64 | I |
Kétszeres | I |
Logikai | I |
DataTimeOffset | I |
Sztringtömb | N |
GeographyPoint | N |
Jelenleg más adattípusok, például a ComplexType nem támogatottak. Az Azure AI Search által támogatott adattípusok teljes listáját a Támogatott adattípusok (Azure AI Search) című témakörben találja.
Kapcsolódó tartalom
A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.