Menambahkan penganalisis kustom ke bidang string dalam indeks Pencarian Azure AI

Penganalisis kustom adalah komponen analisis leksikal melalui konten teks biasa. Ini adalah kombinasi yang ditentukan pengguna dari satu tokenizer, satu atau beberapa filter token, dan satu atau beberapa filter karakter. Penganalisis kustom ditentukan dalam indeks pencarian, lalu dirujuk berdasarkan nama pada definisi bidang yang memerlukan analisis kustom. Penganalisis kustom dipanggil berdasarkan per bidang. Atribut pada bidang menentukan apakah atribut tersebut digunakan untuk pengindeksan, kueri, atau keduanya.

Dalam penganalisis kustom, filter karakter menyiapkan teks input sebelum diproses oleh tokenizer (misalnya, menghapus markup). Selanjutnya, tokenizer memecah teks menjadi token. Terakhir, filter token memodifikasi token yang dipancarkan oleh tokenizer. Untuk konsep dan contoh, lihat Penganalisis di Pencarian dan Tutorial Azure AI: Membuat penganalisis kustom untuk nomor telepon.

Mengapa menggunakan penganalisis kustom?

Penganalisis kustom memberi Anda kontrol atas proses konversi teks biasa menjadi token yang dapat diindeks dan dapat dicari dengan memungkinkan Anda memilih jenis analisis atau pemfilteran mana yang akan dipanggil, dan urutan terjadinya.

Buat dan tetapkan penganalisis kustom jika tidak ada penganalisis default (Standar Lucene), bawaan, atau bahasa yang cukup untuk kebutuhan Anda. Anda juga dapat membuat penganalisis kustom jika Anda ingin menggunakan penganalisis bawaan dengan opsi kustom. Misalnya, jika Anda ingin mengubah maxTokenLength pada Lucene Standar, Anda akan membuat penganalisis kustom, dengan nama yang ditentukan pengguna, untuk mengatur opsi tersebut.

Situasi ketika penganalisis kustom dapat membantu:

• Menggunakan filter karakter untuk menghapus markup HTML sebelum input teks ditokenisasi, atau mengganti karakter atau simbol tertentu.

• Pencarian fonetik. Tambahkan filter fonetik untuk mengaktifkan pencarian berdasarkan bunyi kata, bukan ejaannya.

• Nonaktifkan analisis leksikal. Gunakan penganalisis Kata Kunci untuk membuat bidang yang dapat dicari yang tidak dianalisis.

• Pencarian awalan/akhiran cepat. Tambahkan filter token N-gram Azure Stack Edge ke awalan indeks kata untuk memungkinkan pencocokan awalan cepat. Gabungkan dengan filter token Terbalik untuk melakukan pencocokan akhiran.

• Tokenisasi kustom. Misalnya, gunakan tokenizer Whitespace untuk memecah kalimat menjadi token menggunakan spasi kosong sebagai pembatas

• Pelipatan ASCII. Tambahkan filter pelipatan ASCII Standar untuk menormalkan diakritik seperti ö atau ê dalam istilah pencarian.

Membuat penganalisis kustom

Untuk membuat penganalisis kustom, tentukan di analyzers bagian indeks pada waktu desain, lalu referensikan pada bidang yang dapat dicari, Edm.String menggunakan analyzer properti, atau indexAnalyzer pasangan dan searchAnalyzer .

Definisi penganalisis mencakup nama, jenis, satu atau beberapa filter karakter, maksimal satu tokenizer, dan satu atau beberapa filter token untuk pemrosesan pasca-tokenisasi. Filter karakter diterapkan sebelum tokenisasi. Filter token dan filter karakter diterapkan dari kiri ke kanan.

• Nama dalam penganalisis kustom harus unik dan tidak boleh sama dengan penganalisis bawaan, tokenizer, filter token, atau filter karakter. Nama terdiri dari huruf, digit, spasi, tanda hubung, atau garis bawah. Nama harus dimulai dan diakhir dengan karakter teks biasa. Panjang nama harus di bawah 128 karakter.

• Jenis haruslah #Microsoft.Azure.Search.CustomAnalyzer.

• charFilters dapat berupa satu atau beberapa filter dari Filter Karakter, yang diproses sebelum tokenisasi, dalam urutan yang disediakan. Beberapa filter karakter memiliki opsi, yang dapat diatur dalam bagian charFilters . Filter karakter bersifat opsional.

• tokenizer tepat satu Tokenizer. Nilai harus diisi. Jika membutuhkan lebih dari satu tokenizer, Anda dapat membuat beberapa penganalisis kustom dan menetapkannya berdasarkan bidang demi bidang dalam skema indeks Anda.

• tokenFilters dapat berupa satu atau beberapa filter dari Filter Token, diproses setelah tokenisasi, dalam urutan yang disediakan. Untuk filter token yang memiliki opsi, tambahkan tokenFilter bagian untuk menentukan konfigurasi. Filter token bersifat opsional.

Penganalisis tidak boleh membuat token yang lebih panjang dari 300 karakter, atau pengindeksan akan gagal. Untuk memangkas token panjang atau mengecualikannya, gunakan berturut-turut TruncateTokenFilter dan LengthTokenFilter. Lihat Filter token untuk referensi.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

Dalam definisi indeks, Anda dapat menempatkan bagian ini di mana saja dalam isi permintaan buat indeks tetapi biasanya di akhir:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Definisi penganalisis adalah bagian dari indeks yang lebih besar. Definisi untuk filter karakter, tokenizer, dan filter token ditambahkan ke indeks hanya jika Anda mengatur opsi kustom. Untuk menggunakan filter atau tokenizer yang ada secara apa adanya, tentukan berdasarkan nama dalam definisi penganalisis. Untuk informasi selengkapnya, lihat Membuat Indeks (REST). Untuk contoh selengkapnya, lihat Menambahkan penganalisis di Azure AI Search.

Menguji penganalisis kustom

Anda dapat menggunakan Test Analyzer (REST) untuk melihat bagaimana penganalisis memecah teks yang diberikan menjadi token.

Permintaan

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Respons

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Memperbarui penganalisis kustom

Setelah penganalisis, tokenizer, filter token, atau filter karakter ditentukan, itu tidak dapat dimodifikasi. Yang baru dapat ditambahkan ke indeks yang ada hanya jika bendera allowIndexDowntime diatur ke true dalam permintaan pembaruan indeks:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Operasi ini membuat indeks Anda offline setidaknya selama beberapa detik, menyebabkan permintaan pengindeksan dan kueri gagal. Performa dan ketersediaan penulisan indeks dapat terganggu selama beberapa menit setelah indeks diperbarui, atau lebih lama untuk indeks yang sangat besar, tetapi efek ini bersifat sementara dan akhirnya diselesaikan sendiri.

Penganalisis bawaan

Jika Anda ingin menggunakan penganalisis bawaan dengan opsi kustom, membuat penganalisis kustom adalah mekanisme yang Anda tentukan opsinya. Sebaliknya, untuk menggunakan penganalisis bawaan apa adanya, Anda hanya perlu mereferensikannya dengan nama dalam definisi bidang.

¹ Jenis Penganalisis selalu diawali dalam kode dengan #Microsoft.Azure.Search kode yang PatternAnalyzer sebenarnya akan ditentukan sebagai #Microsoft.Azure.Search.PatternAnalyzer. Kami menghapus awalan untuk mempersingkat, tetapi awalan diperlukan dalam kode Anda.

Jenis analyzer_type hanya disediakan untuk penganalisis yang dapat disesuaikan. Jika tidak ada opsi, seperti halnya dengan penganalisis kata kunci, tidak ada jenis #Microsoft.Azure.Search terkait.

Filter karakter

Filter karakter menambahkan pemrosesan sebelum untai (karakter) mencapai tokenizer.

Azure AI Search mendukung filter karakter dalam daftar berikut. Informasi lebih lanjut dapat ditemukan dalam referensi API Lucene.

¹ Jenis Filter Karakter selalu diawali dalam kode dengan #Microsoft.Azure.Search yang MappingCharFilter sebenarnya akan ditentukan sebagai #Microsoft.Azure.Search.MappingCharFilter. Kami menghapus awalan untuk mengurangi lebar tabel, tetapi ingatlah untuk menyertakannya dalam kode Anda. Perhatikan bahwa char_filter_type hanya disediakan untuk filter yang dapat disesuaikan. Jika tidak ada opsi, seperti halnya dengan html_strip, tidak ada jenis #Microsoft.Azure.Search terkait.

Tokenizer

Tokenizer membagi teks berkelanjutan menjadi urutan token, seperti memecah kalimat menjadi kata-kata, atau kata ke dalam bentuk akar.

Azure AI Search mendukung tokenizer dalam daftar berikut. Informasi lebih lanjut dapat ditemukan dalam referensi API Lucene.

¹ Jenis Tokenizer selalu diawali dalam kode dengan #Microsoft.Azure.Search yang ClassicTokenizer sebenarnya akan ditentukan sebagai #Microsoft.Azure.Search.ClassicTokenizer. Kami menghapus awalan untuk mengurangi lebar tabel, tetapi ingatlah untuk menyertakannya dalam kode Anda. Perhatikan bahwa tokenizer_type hanya disediakan untuk tokenizer yang dapat disesuaikan. Jika tidak ada opsi, seperti halnya dengan tokenizer huruf, tidak ada jenis #Microsoft.Azure.Search terkait.

Filter token

Filter token digunakan untuk memfilter atau memodifikasi token yang dihasilkan oleh tokenizer. Misalnya, Anda dapat menetapkan filter huruf kecil yang mengonversi semua karakter menjadi huruf kecil. Anda dapat memiliki beberapa filter token di penganalisis kustom. Filter token berjalan dalam urutan di mana filter tersebut tercantum.

Dalam tabel berikut, filter token yang diimplementasikan menggunakan Apache Lucene ditautkan ke dokumentasi LUCENE API.

¹ Jenis Filter Token selalu diawali dalam kode dengan #Microsoft.Azure.Search kode yang ArabicNormalizationTokenFilter sebenarnya akan ditentukan sebagai #Microsoft.Azure.Search.ArabicNormalizationTokenFilter. Kami menghapus awalan untuk mengurangi lebar tabel, tetapi ingatlah untuk menyertakannya dalam kode Anda.

Lihat juga

• REST API Pencarian Azure AI
• Penganalisis di Azure AI Search (Contoh)
• Membuat Indeks (REST)