Szövegfelosztási kognitív képesség

A Szöveg felosztása képesség szövegrészekre bontja a szöveget. Megadhatja, hogy a szöveget mondatokra vagy adott hosszúságú oldalakra szeretné-e bontani. Ez a képesség akkor hasznos, ha a szöveghosszra vonatkozó követelmények maximálisak az alsóbb rétegbeli készségekben, például olyan beágyazási képességek, amelyek adattömböket adnak át az Azure OpenAI-beli és más modellszolgáltatók beágyazási modelljeinek. A forgatókönyvről további információt az adattömb-dokumentumokban talál a vektorkereséshez.

Számos paraméter verzióspecifikus. A skills paraméter táblája megjegyzi az API azon verzióját, amelyben egy paramétert bevezettek, így ön tudja, hogy szükséges-e verziófrissítés . Ha verzióspecifikus funkciókat szeretne használni, például a 2024-09-01-es előzetes verziójú jogkivonat-adattömbkezelést, használhatja az Azure Portalt, vagy megcélozhat egy REST API-verziót, vagy ellenőrizheti az Azure SDK változásnaplóját, hogy támogatja-e a funkciót.

Az Azure Portal a legtöbb előzetes verziójú funkciót támogatja, és készségkészletek létrehozásához vagy frissítéséhez használható. A Szöveg felosztása képesség frissítéséhez szerkessze a JSON-definíciót, és adjon hozzá új előzetes verziós paramétereket.

@odata.type

Microsoft.Skills.Text.SplitSkill

Képességparaméterek

A paraméterek megkülönböztetik a kis- és nagybetűket.

Készségbemenetek

Képességkimenetek

Mintadefiníció

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Példabemenet

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Példakimenet

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ]
            }
        }
    ]
}

Példa adattömb-készítésre és vektorizálásra

Ez a példa az integrált vektorizálásra használható.

• pageOverlapLength: Az átfedésben lévő szöveg az adattömbök esetében hasznos, mert megőrzi az azonos dokumentumból létrehozott adattömbök közötti folytonosságot.

• maximumPagesToTake: Az oldalbeadás korlátai a vektorizálási forgatókönyvekben hasznosak, mivel segít a vektorizálást biztosító beágyazási modellek maximális bemeneti korlátainál maradni.

Mintadefiníció

Ez a definíció 100 karaktert és maximumPagesToTake egy karaktert ad hozzápageOverlapLength.

Ha az maximumPageLength érték 5000 karakter (ez az alapértelmezett), akkor "maximumPagesToTake": 1 az egyes forrásdokumentumok első 5000 karakterét dolgozza fel.

Ez a példa a értékre állítja textItems a myPages/targetName Mert targetName be van állítva, ez az az érték, myPages amelyet a Szöveg felosztása képesség kimenetének kiválasztásához kell használnia. Használja /document/mypages/* az alsóbb rétegbeli készségeket, az indexelő kimeneti mezőleképezéseit, a tudástár-előrejelzéseket és az index-előrejelzéseket.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "mypages"
        }
    ]
}

Mintabemenet (ugyanaz, mint az előző példában)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Mintakimenet (figyelje meg az átfedést)

Az egyes "textItems" tömbökben a program az első elemből származó záró szöveget a második elem elejére másolja.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Hibaesetek

Ha egy nyelv nem támogatott, figyelmeztetés jön létre.

Lásd még

• Beépített készségek
• Készségkészlet definiálása