Gyorsítótárazás engedélyezése növekményes bővítéshez az Azure AI Searchben

Ez a cikk bemutatja, hogyan vehet fel gyorsítótárazást egy bővítési folyamathoz, hogy anélkül módosíthatja az alsóbb rétegbeli bővítés lépéseit, hogy minden alkalommal újra kellene építenie. Alapértelmezés szerint a képességkészlet állapot nélküli, és összetételének bármely részének módosítása az indexelő teljes újrafuttatását igényli. A bővítőgyorsítótár használatával az indexelő meghatározhatja, hogy a dokumentumfa mely részeit kell frissíteni a képességkészletben vagy az indexelődefiníciókban észlelt változások alapján. A meglévő feldolgozott kimenetek megmaradnak és újra felhasználhatók, ahol csak lehetséges.

A gyorsítótárazott tartalom az Ön által megadott fiókadatok alapján kerül az Azure Storage-ba. A névvel ellátott ms-az-search-indexercache-<alpha-numerc-string>tároló az indexelő futtatásakor jön létre. A keresési szolgáltatás által felügyelt belső összetevőnek kell tekinteni, és nem módosítható.

Előfeltételek

• Azure Storage a gyorsítótárazott gazdagítások tárolásához. A tárfióknak általános célú v2-nek kell lennie.

• Csak blobindexelés esetén, ha szinkronizált dokumentum eltávolítására van szüksége mind a gyorsítótárból, mind az indexből, amikor blobokat töröl az adatforrásból, engedélyezze a törlési szabályzatot az indexelőben. A szabályzat nélkül a gyorsítótárból való dokumentumtörlés nem támogatott.

Ismernie kell az indexelők beállítását. Kezdje az indexelő áttekintésével, majd folytassa a készségkészletekkel a bővítési folyamatok megismeréséhez. A főbb fogalmakkal kapcsolatos további háttérért lásd a növekményes bővítést.

Engedélyezés új indexelőkön

Az indexelők gazdagítási gyorsítótárának engedélyezéséhez használhatja az Azure Portalt, az előzetes verziójú API-kat vagy a béta Azure SDK-kat.

POST https://[service name].search.windows.net/indexers?api-version=2024-05-01-preview
    {
        "name": "<YOUR-INDEXER-NAME>",
        "targetIndexName": "<YOUR-INDEX-NAME>",
        "dataSourceName": "<YOUR-DATASOURCE-NAME>",
        "skillsetName": "<YOUR-SKILLSET-NAME>",
        "cache" : {
            "storageConnectionString" : "<YOUR-STORAGE-ACCOUNT-CONNECTION-STRING>",
            "enableReprocessing": true
        },
    "fieldMappings" : [],
    "outputFieldMappings": [],
    "parameters": []
    }

Engedélyezés meglévő indexelőkön

Az olyan meglévő indexelők esetében, amelyek már rendelkeznek képességkészletekkel, a következő lépésekkel adhat hozzá gyorsítótárazást. Egyszeri műveletként állítsa alaphelyzetbe és futtassa újra az indexelőt teljes egészében a gyorsítótár betöltéséhez.

1. lépés: Az indexelő definíciójának lekérése

Kezdje egy érvényes, munkaindexelővel, amely ezeket az összetevőket tartalmazza: adatforrás, képességkészlet, index. API-ügyfél használatával küldjön get Indexer kérést az indexelő lekéréséhez. Ha az előzetes verziójú API-t használja a GET indexelőhöz, a rendszer automatikusan hozzáad egy null értékű "cache" tulajdonságot a definícióhoz.

GET https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]?api-version=2024-05-01-preview
    Content-Type: application/json
    api-key: [YOUR-ADMIN-KEY]

2. lépés: A gyorsítótár tulajdonságának beállítása

Az indexdefinícióban módosítsa a "gyorsítótárat", hogy tartalmazza a következő kötelező és nem kötelező tulajdonságokat:

• (Kötelező) storageConnectionString Azure Storage-kapcsolati sztring kell beállítani.
• (Nem kötelező) enableReprocessing logikai tulajdonság (true alapértelmezés szerint) azt jelzi, hogy a növekményes bővítés engedélyezve van. Állítsa be, false ha fel szeretné függeszteni a növekményes feldolgozást, miközben más erőforrás-igényes műveletek, például az új dokumentumok indexelése folyamatban vannak, majd visszavált a későbbire true .

POST https://[service name].search.windows.net/indexers?api-version=2024-05-01-preview
    {
        "name": "<YOUR-INDEXER-NAME>",
        "targetIndexName": "<YOUR-INDEX-NAME>",
        "dataSourceName": "<YOUR-DATASOURCE-NAME>",
        "skillsetName": "<YOUR-SKILLSET-NAME>",
        "cache" : {
            "storageConnectionString" : "<YOUR-STORAGE-ACCOUNT-CONNECTION-STRING>",
            "enableReprocessing": true
        },
        "fieldMappings" : [],
        "outputFieldMappings": [],
        "parameters": []
    }

3. lépés: Az indexelő alaphelyzetbe állítása

Az indexelő alaphelyzetbe állítása a meglévő indexelők növekményes bővítésekor szükséges annak biztosítása érdekében, hogy minden dokumentum konzisztens állapotban legyen. Ehhez a feladathoz használhatja az Azure Portalt vagy egy API-ügyfelet.

POST https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]/reset?api-version=2024-05-01-preview
    Content-Type: application/json
    api-key: [YOUR-ADMIN-KEY]

4. lépés: Az indexelő mentése

Frissítse az Indexelőt EGY PUT-kéréssel, amelyben a kérés törzse tartalmazza a "cache" parancsot.

PUT https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]?api-version=2024-05-01-preview
    Content-Type: application/json
    api-key: [YOUR-ADMIN-KEY]
    {
        "name" : "<YOUR-INDEXER-NAME>",
        ...
        "cache": {
            "storageConnectionString": "<YOUR-STORAGE-ACCOUNT-CONNECTION-STRING>",
            "enableReprocessing": true
        }
    }

Ha most újabb GET kérést ad ki az indexelőre, a szolgáltatás válasza tartalmaz egy ID tulajdonságot a gyorsítótár-objektumban. A sztring hozzá van fűzve a tároló nevéhez, amely tartalmazza az indexelő által feldolgozott összes dokumentum összes gyorsítótárazott eredményét és köztes állapotát. Az azonosítóval egyedileg nevezhető el a gyorsítótár a Blob Storage-ban.

    "cache": {
        "ID": "<ALPHA-NUMERIC STRING>",
        "enableReprocessing": true,
        "storageConnectionString": "DefaultEndpointsProtocol=https;AccountName=<YOUR-STORAGE-ACCOUNT>;AccountKey=<YOUR-STORAGE-KEY>;EndpointSuffix=core.windows.net"
    }

5. lépés: Az indexelő futtatása

Az indexelő futtatásához használhatja az Azure Portalt vagy az API-t. Az Azure Portalon az indexelők listájában válassza ki az indexelőt, és válassza a Futtatás lehetőséget. Az Azure Portal használatának egyik előnye, hogy figyelheti az indexelő állapotát, megfigyelheti a feladat időtartamát és a dokumentumok feldolgozásának időtartamát. A portáloldalak néhány percenként frissülnek.

Másik lehetőségként a REST használatával futtathatja az indexelőt:

POST https://[YOUR-SEARCH-SERVICE].search.windows.net/indexers/[YOUR-INDEXER-NAME]/run?api-version=2024-05-01-preview
Content-Type: application/json
api-key: [YOUR-ADMIN-KEY]

Gyorsítótárazott kimenet ellenőrzése

Keresse meg a gyorsítótárat az Azure Storage-ban a Blob-tároló alatt. A tároló neve .ms-az-search-indexercache-<some-alphanumeric-string>

A gyorsítótárat egy indexelő hozza létre és használja. Tartalma nem olvasható emberi tartalommal.

Annak ellenőrzéséhez, hogy a gyorsítótár működik-e, módosítsa a képességkészletet, és futtassa az indexelőt, majd hasonlítsa össze a végrehajtási idő és a dokumentumszám előtti és utáni metrikákat.

A képelemzést és a beolvasott dokumentumok optikai karakterfelismerését (OCR) tartalmazó készségkészletek jó teszteseteket tesznek lehetővé. Ha módosít egy alsóbb rétegbeli szöveget, vagy bármilyen olyan készséget, amely nem képpel kapcsolatos, az indexelő lekérheti az összes korábban feldolgozott kép- és OCR-tartalmat a gyorsítótárból, és csak a szerkesztés által jelzett szöveggel kapcsolatos módosításokat frissítheti és feldolgozhatja. Az indexelő végrehajtási dokumentumainak számában, rövidebb végrehajtási időkben és kevesebb díjban számíthat kevesebb dokumentumra.

A cog-search-demo oktatóanyagokban használt fájlkészlet hasznos teszteset, mivel 14 különböző formátumú JPG, PNG, HTML, DOCX, PPTX és más típusú fájlt tartalmaz. es A növekményes bővítés megvalósíthatósági teszteléséhez váltson en át vagy másik nyelvre a szövegfordítási jártasságban.

Gyakori hibák

A következő hiba akkor fordul elő, ha elfelejtette megadni az előzetes verziójú API-verziót a kérelemben:

"The request is invalid. Details: indexer : A resource without a type name was found, but no expected type was specified. To allow entries without type information, the expected type must also be specified when the model is specified."

Ha hiányzik egy indexelő követelmény, 400-ra vonatkozó hibás kérési hiba is bekövetkezik. A hibaüzenet megadja a hiányzó függőségeket.

Következő lépések

A növekményes bővítés olyan indexelőkre alkalmazható, amelyek készségkészleteket tartalmaznak, és újrafelhasználható tartalmakat biztosítanak mind az indexek, mind a tudástárak számára. Az alábbi hivatkozások további információt nyújtanak a gyorsítótárazással és a képességkészletekkel kapcsolatban.

• Növekményes bővítés (életciklus és felügyelet)
• A készségkészlet fogalmai és összetétele
• Képességkészlet létrehozása
• Oktatóanyag: Kereshető tartalom létrehozása az Azure-blobokból a REST és az AI használatával