Keterampilan kognitif pemisah teks

Keterampilan Pemisahan Teks memutus teks menjadi beberapa gugus teks. Anda dapat menentukan apakah Anda ingin memutus teks menjadi kalimat atau menjadi halaman dengan panjang tertentu. Keterampilan ini berguna jika ada persyaratan panjang teks maksimum dalam keterampilan lain di hilir, seperti keterampilan penyematan yang meneruskan potongan data ke model penyematan di Azure OpenAI dan penyedia model lainnya. Untuk informasi selengkapnya tentang skenario ini, lihat Dokumen gugus untuk pencarian vektor.

Beberapa parameter khusus versi. Tabel parameter keterampilan mencatat versi API tempat parameter diperkenalkan sehingga Anda tahu apakah peningkatan versi diperlukan. Untuk menggunakan fitur khusus versi seperti potongan token dalam pratinjau 2024-09-01, Anda dapat menggunakan portal Azure, atau menargetkan versi REST API, atau memeriksa log perubahan Azure SDK untuk melihat apakah mendukung fitur tersebut.

portal Azure mendukung sebagian besar fitur pratinjau dan dapat digunakan untuk membuat atau memperbarui set keterampilan. Untuk pembaruan pada keterampilan Pemisahan Teks, edit definisi JSON skillset untuk menambahkan parameter pratinjau baru.

@odata.type

Microsoft.Skills.Text.SplitSkill

Parameter keterampilan

Parameternya peka huruf besar/kecil.

Input keterampilan

Output keterampilan

Definisi sampel

{
    "name": "SplitSkill", 
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill", 
    "description": "A skill that splits text into chunks", 
    "context": "/document", 
    "defaultLanguageCode": "en", 
    "textSplitMode": "pages", 
    "unit": "azureOpenAITokens", 
    "azureOpenAITokenizerParameters":{ 
        "encoderModelName":"cl100k_base", 
        "allowedSpecialTokens": [ 
            "[START]", 
            "[END]" 
        ] 
    },
    "maximumPageLength": 512,
    "inputs": [
        {
            "name": "text",
            "source": "/document/text"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "pages"
        }
    ]
}

Input sampel

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several pages...",
                "languageCode": "en"
            }
        }
    ]
}

Sampel output

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...",
                    "In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...",
                    "In the next section of the second doc..."
                ]
            }
        }
    ]
}

Contoh untuk pemotongan dan vektorisasi

Contoh ini untuk vektorisasi terintegrasi.

• pageOverlapLength: Teks yang tumpang tindih berguna dalam skenario pemotongan data karena mempertahankan kelangsungan antara gugus yang dihasilkan dari dokumen yang sama.

• maximumPagesToTake: Batasan asupan halaman berguna dalam skenario vektorisasi karena membantu Anda tetap berada di bawah batas input maksimum dari model penyematan yang menyediakan vektorisasi.

Definisi sampel

Definisi ini menambahkan pageOverlapLength 100 karakter dan maximumPagesToTake satu karakter.

Dengan asumsi maximumPageLength adalah 5.000 karakter (default), lalu "maximumPagesToTake": 1 memproses 5.000 karakter pertama dari setiap dokumen sumber.

Contoh ini diatur textItems ke myPages melalui targetName. Karena targetName diatur, myPages adalah nilai yang harus Anda gunakan untuk memilih output dari keterampilan Pemisahan Teks. Gunakan /document/mypages/* dalam keterampilan hilir, pemetaan bidang output pengindeks, proyeksi penyimpanan pengetahuan, dan proyeksi indeks.

{
    "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
    "textSplitMode" : "pages", 
    "maximumPageLength": 1000,
    "pageOverlapLength": 100,
    "maximumPagesToTake": 1,
    "defaultLanguageCode": "en",
    "inputs": [
        {
            "name": "text",
            "source": "/document/content"
        },
        {
            "name": "languageCode",
            "source": "/document/language"
        }
    ],
    "outputs": [
        {
            "name": "textItems",
            "targetName": "mypages"
        }
    ]
}

Input sampel (sama seperti contoh sebelumnya)

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "text": "This is the loan application for Joe Romero, a Microsoft employee who was born in Chile and who then moved to Australia...",
                "languageCode": "en"
            }
        },
        {
            "recordId": "2",
            "data": {
                "text": "This is the second document, which will be broken into several sections...",
                "languageCode": "en"
            }
        }
    ]
}

Sampel output (perhatikan tumpang tindih)

Dalam setiap array "textItems", teks berikutnya dari item pertama disalin ke awal item kedua.

{
    "values": [
        {
            "recordId": "1",
            "data": {
                "textItems": [
                    "This is the loan...Here is the overlap part",
                    "Here is the overlap part...In the next section, we continue..."
                ]
            }
        },
        {
            "recordId": "2",
            "data": {
                "textItems": [
                    "This is the second document...Here is the overlap part...",
                    "Here is the overlap part...In the next section of the second doc..."
                ]
            }
        }
    ]
}

Kasus kesalahan

Jika bahasa tidak didukung, peringatan akan dihasilkan.

Lihat juga

• Keterampilan bawaan
• Cara menentukan set keterampilan