Szemantikai rangsorolás hozzáadása lekérdezésekhez az Azure AI Searchben

Cikk
12/10/2024

A szemantikai rangsorolást szöveges lekérdezésekre, hibrid lekérdezésekre és vektoros lekérdezésekre is alkalmazhatja, ha a keresési dokumentumok sztringmezőket tartalmaznak, és a vektoros lekérdezés szövegábrázolással rendelkezik a keresési dokumentumban.

Ez a cikk bemutatja, hogyan hívhatja meg a szemantikai rangsorolót a lekérdezéseken. Feltételezi, hogy a legújabb stabil vagy előzetes verziójú API-kat használja. A régebbi verziókkal kapcsolatos segítségért tekintse meg a szemantikai rangsorolási kód migrálásával kapcsolatos témakört.

Előfeltételek

Egy alapszintű vagy magasabb szintű keresési szolgáltatás, amelyen engedélyezve van a szemantikai rangsoroló.
Meglévő keresési index szemantikai konfigurációval és rich text tartalommal.
Tekintse át a szemantikai rangsorolást , ha be kell ismerkednie a funkcióval.

Feljegyzés

A feliratok és válaszok szó szerint kinyerhetők a keresődokumentum szövegéből. A szemantikai alrendszer gépi olvasási megértéssel ismeri fel a felirat vagy válasz jellemzőivel rendelkező tartalmakat, de nem ír új mondatokat vagy kifejezéseket. Ezért a magyarázatokat vagy definíciókat tartalmazó tartalom a szemantikai rangsorolás szempontjából a legjobban működik. Ha csevegőstílusú interakciót szeretne a generált válaszokkal, olvassa el a Bővített generáció lekérése (RAG) című témakört.

Ügyfél kiválasztása

Az alábbi eszközök és SDK-k bármelyikével létrehozhat egy szemantikai rangsorolást használó lekérdezést:

Az Azure Portalon az indextervezővel adhat hozzá szemantikai konfigurációt.
Visual Studio Code REST-ügyféllel
Azure SDK for .NET
Pythonhoz készült Azure SDK
Javához készült Azure SDK
Azure SDK for JavaScript

Kerülje a relevanciapontozást megkerülő funkciókat

Néhány lekérdezési képesség megkerüli a relevanciapontozást, ami miatt nem kompatibilisek a szemantikai rangsorolással. Ha a lekérdezési logika a következő funkciókat tartalmazza, nem rangsorolhatja az eredményeket szemantikailag:

Az üres keresési sztringet search=* tartalmazó vagy üres lekérdezések, például a csak szűrős lekérdezések nem működnek, mert nincs semmi a szemantikai relevancia mérésére, így a keresési pontszámok nullák. A lekérdezésnek olyan kifejezéseket vagy kifejezéseket kell megadnia, amelyek kiértékelhetők a feldolgozás során.
Az adott mezők rendezése (orderBy záradékok) felülbírálják a keresési pontszámokat és a szemantikai pontszámokat. Tekintettel arra, hogy a szemantikai pontszámnak meg kell adnia a rangsort, az orderby záradék hozzáadása HTTP 400-es hibát eredményez, ha szemantikai rangsorolást alkalmaz a rendezett eredményekre.

A lekérdezés beállítása

Alapértelmezés szerint a lekérdezések nem használnak szemantikai rangsorolást. A szemantikai rangsorolás használatához két különböző paraméter használható. Mindegyik paraméter különböző forgatókönyveket támogat.

A szemantikai lekérdezések , akár a pluszqueryType, akár a rajta keresztül searchsemanticQueryvannak megadva, egyszerű szövegnek kell lenniük, és nem lehetnek üresek. Az üres lekérdezések azt eredményezik, hogy a rendszer nem alkalmaz szemantikai rangsort az eredményekre.

Szemantikai rangsoroló paraméter	Egyszerű szöveges keresés	Egyszerű szöveges keresés szintaxisa	Teljes szöveges keresési szintaxis	Vektoros keresés	Hibrid keresés	Szemantikai válaszok és feliratok
`queryType-semantic` ¹	✅	❌	❌	❌	✅	✅
`semanticQuery="<your plain text query>"` ²	✅	✅	✅	✅	✅	✅

^{Az 1}queryType=semantic nem támogatja az explicit simple vagy full az értékeket, mert a queryType paramétert semantica rendszer használja. Az egyszerű elemző alapértelmezett lekérdezési viselkedése az érvényes lekérdezési viselkedés.

² A semanticQuery paraméter minden lekérdezéstípushoz használható. Az Azure Portal Keresőböngészője azonban nem támogatja.

A választott paramétertől függetlenül az indexnek gazdag szemantikai tartalommal és szemantikai konfigurációval rendelkező szövegmezőket kell tartalmaznia.

A Keresőböngésző a szemantikai rangsorolási lehetőségeket tartalmazza. Ne feledje, hogy a semanticQuery paraméter nem állítható be az Azure Portalon.

Jelentkezzen be az Azure Portalra.
Nyisson meg egy keresési indexet, és válassza a Kereséskezelő lehetőséget.
Válassza a Lekérdezési beállítások lehetőséget. Ha már definiált szemantikai konfigurációt, az alapértelmezés szerint ki van választva. Ha nem rendelkezik ilyennel, hozzon létre egy szemantikai konfigurációt az indexhez.
Adjon meg egy lekérdezést, például "történelmi szálloda jó ételekkel", és válassza a Keresés lehetőséget.

Másik lehetőségként válassza a JSON-nézetet , és illessze be a definíciókat a lekérdezésszerkesztőbe. Az Azure Portal nem támogatja a használatot semanticQuery, ezért a beállítás queryType"semantic" szükséges:

JSON-példa a lekérdezéstípus szemantikai értékre állításához, amelyet beilleszthet a nézetbe:

{
  "search": "funky or interesting hotel with good food on site",
  "count": true,
  "queryType": "semantic",
  "semanticConfiguration": "my-semantic-config",
  "captions": "extractive|highlight-true",
  "answers": "extractive|count-3",
  "highlightPreTag": "<strong>",
  "highlightPostTag": "</strong>",
  "select": "HotelId,HotelName,Description,Category"
}

A kérés megfogalmazásához használja a Keresési dokumentumok parancsot .

A válasz automatikusan tartalmazza @search.rerankerScore a választ. Ha feliratokra vagy válaszokra van szüksége a válaszban, engedélyezze a szemantikai rangsorolást úgy, hogy semantic beállítja queryType vagy beállítjasemanticQuery, és feliratokat és válaszokat ad hozzá a kéréshez.

Az alábbi példák a hotels-sample-index használatával szemléltetik a szemantikai rangsorolást szemantikai válaszokkal és feliratokkal.

A queryType=szemantic használata

Ha ezt szeretné beállítani queryTypesemantic, illessze be a következő kérést egy webügyfélbe sablonként. Cserélje le search-service-name a keresési szolgáltatás nevére, és cserélje le hotels-sample-index , ha másik indexnévvel rendelkezik.

POST https://[search-service-name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2024-07-01
{
      "search": "interesting hotel with restaurant on site and cozy lobby or shared area",
      "count": true,
      "queryType": "semantic",
      "semanticConfiguration": "semantic-config",
      "captions": "extractive|highlight-true",
      "answers": "extractive|count-3",
      "highlightPreTag": "<strong>",
      "highlightPostTag": "</strong>",
      "select": "HotelId,HotelName,Description,Category"
}

Állítsa a queryType elemet semantic értékre.
Egyszerű egyszerű szöveges lekérdezésre van állítva search . Mivel a queryType beállítás semanticértéke az egyszerű szintaxis vagy a teljes Lucene szintaxis, nem támogatott. * Az üres sztring megadásakor a rendszer nem alkalmaz szemantikai rangsorolást a lekérdezésre.
Állítson be semanticConfiguration egy előre definiált szemantikai konfigurációt , amely az indexbe van ágyazva.
Adja meganswers, hogy a szemantikai válaszok szerepelnek-e az eredményben. Jelenleg a paraméter egyetlen érvényes értéke az extractive. A válaszok legfeljebb 10-et adhatnak vissza. Az alapértelmezett érték az egyik. Ez a példa három válaszból áll: extractive|count-3.

A válaszok nem minden kérés esetén garantáltak. A válaszhoz a lekérdezésnek kérdésként kell kinéznie, a tartalomnak pedig válasznak tűnő szöveget kell tartalmaznia.
Adja meg captions , hogy a szemantikai feliratok szerepelnek-e az eredményben. Jelenleg a paraméter egyetlen érvényes értéke az extractive. A feliratok úgy konfigurálhatók, hogy kiemelésekkel vagy anélkül is visszaadják az eredményeket. Az alapértelmezett érték a kiemelések visszaadása. Ez a példa a következő kiemelések nélküli feliratokat adja vissza: extractive|highlight-false.

A feliratok és válaszok alapja a "szemanticConfiguration" mezőben hivatkozott mezők. Ezek a mezők 2000 token vagy körülbelül 20 000 karakter együttes korlátja alatt vannak. Ha a jogkivonatok száma meghaladja ezt a korlátot, fontolja meg az adatbeosztási lépést a Szöveg felosztása képesség használatával. Ez a megközelítés függőséget vezet be az AI-bővítési folyamattól és az indexelőkhöz.
Adja meg highlightPreTag , és highlightPostTag ha felül szeretné bírálni a feliratokra alkalmazott alapértelmezett kiemelési formázást.

A feliratok a válasz összegzését tartalmazó dokumentum kulcsszakaszai fölé emelik a kiemelési formázást. Az alapértelmezett érték <em>. Ha meg szeretné adni a formázás típusát (például sárga háttér), beállíthatja a highlightPreTag és highlightPostTag értéket.
Adja meg, hogy mely mezők lesznek visszaadva a válaszban, a "darabszám" pedig az indexben lévő egyezések számának visszaadásához. Ezek a paraméterek javítják a kérés minőségét és a válasz olvashatóságát.
Küldje el a kérést a lekérdezés végrehajtására és az eredmények visszaadására.

SzemanticQuery használata

A használatával semanticQueryexplicit módon alkalmazhat egyszerű szöveges szintaxist vagy teljes szöveges szintaxist, ami azt jelenti, hogy mostantól mezős keresést, kifejezésnövelést és közelségi keresést végezhet. A hibrid helyett egy tiszta vektoros lekérdezést is megadhat.

Módosítsa a kérést a következő JSON-ra a használathoz semanticQuery.

POST https://[search-service-name].search.windows.net/indexes/hotels-sample-index/docs/search?api-version=2024-07-01
{
    "search": "Description:breakfast",
    "semanticQuery": "interesting hotel with restaurant on site and cozy lobby or shared area",
    "count": true,
    "queryType": "full",
    "semanticConfiguration": "semantic-config",
    "captions": "extractive|highlight-true",
    "answers": "extractive|count-3",
    "highlightPreTag": "<strong>",
    "highlightPostTag": "</strong>",
    "select": "HotelId,HotelName,Description,Category"
}

Állítsa be queryType a használt keresési szintaxist egyszerű vagy teljes értékre.
Állítsa be semanticQuery a szemantikai rangsoroláshoz használni kívánt egyszerű egyszerű szöveges lekérdezést. Az üres lekérdezések nem támogatottak. Kerülje az operátorokat vagy a sztringen belüli lekérdezési szintaxist.

A QueryType vagy a SzemanticQuery használatával meghívhatja a szemantikai rangsorolót egy szemantikai lekérdezésen. Az alábbi példa az Azure SDK csapatától származik.

SearchResults<Hotel> response = await searchClient.SearchAsync<Hotel>(
    "interesting hotel with restaurant on site and cozy lobby or shared area",
    new SearchOptions
    {
        SemanticSearch = new()
        {
            SemanticConfigurationName = "my-semantic-config",
            QueryCaption = new(QueryCaptionType.Extractive),
            QueryAnswer = new(QueryAnswerType.Extractive)
        },
        QueryType = SearchQueryType.Semantic
    });

int count = 0;
Console.WriteLine($"Semantic Search Results:");

Console.WriteLine($"\nQuery Answer:");
foreach (QueryAnswerResult result in response.SemanticSearch.Answers)
{
    Console.WriteLine($"Answer Highlights: {result.Highlights}");
    Console.WriteLine($"Answer Text: {result.Text}");
}

await foreach (SearchResult<Hotel> result in response.GetResultsAsync())
{
    count++;
    Hotel doc = result.Document;
    Console.WriteLine($"{doc.HotelId}: {doc.HotelName}");

    if (result.SemanticSearch.Captions != null)
    {
        var caption = result.SemanticSearch.Captions.FirstOrDefault();
        if (caption.Highlights != null && caption.Highlights != "")
        {
            Console.WriteLine($"Caption Highlights: {caption.Highlights}");
        }
        else
        {
            Console.WriteLine($"Caption Text: {caption.Text}");
        }
    }
}
Console.WriteLine($"Total number of search results:{count}");

semanticQuery A beállítás queryTypesemantichelyett a keresési kódrészlet a következő kódrészlettel helyettesíthető:

SearchResults<Hotel> response = await searchClient.SearchAsync<Hotel>(
    "Luxury hotel",
    new SearchOptions
    {
        SemanticSearch = new()
        {
            SemanticConfigurationName = "my-semantic-config",
            QueryCaption = new(QueryCaptionType.Extractive),
            QueryAnswer = new(QueryAnswerType.Extractive),
            SemanticQuery = "Is there any hotel located on the main commercial artery of the city in the heart of New York?"
        }
    });

A válasz kiértékelése

A kezdeti eredmények közül csak az első 50 találat lehet szemantikailag rangsorolva. Mint minden lekérdezés esetében, a válasz az összes beolvashatóként megjelölt mezőből, vagy csak a select paraméterben felsorolt mezőkből áll. A válasz tartalmazza az eredeti relevanciapontot, és a kérés megfogalmazásától függően számmal vagy kötegelt eredményekkel is járhat.

A szemantikai rangsorban a válasz több elemből áll: egy új szemantikailag rangsorolt relevanciapont, egy választható felirat egyszerű szövegben és kiemelésekkel, valamint opcionális válasz. Ha az eredmények nem tartalmazzák ezeket a további elemeket, előfordulhat, hogy a lekérdezés helytelenül van konfigurálva. A probléma elhárításának első lépéseként ellenőrizze a szemantikai konfigurációt, hogy az az indexdefinícióban és a lekérdezésben is meg legyen adva.

Egy ügyfélalkalmazásban úgy strukturálhatja a keresési oldalt, hogy egy adott mező teljes tartalma helyett egy feliratot adjon meg az egyezés leírásaként. Ez a módszer akkor hasznos, ha az egyes mezők túl sűrűk a keresési eredmények oldalához.

A fenti példalekérdezés válasza ("érdekes szálloda étteremmel a helyszínen és hangulatos előszobával vagy megosztott területtel") három választ ad vissza ("answers": "extractive|count-e"). A feliratok azért jelennek meg, mert a "captions" tulajdonság be van állítva, egyszerű szöveggel és kiemelt verziókkal. Ha egy válasz nem határozható meg, akkor a válaszból kimarad. A rövidség kedvéért ez a példa csak a három választ és a lekérdezés három legmagasabb pontszámú eredményét mutatja be.

{
  "@odata.count": 29,
  "@search.answers": [
    {
      "key": "24",
      "text": "Chic hotel near the city. High-rise hotel in downtown, within walking distance to theaters, art galleries, restaurants and shops. Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
      "highlights": "Chic hotel near the city. <strong>High-rise hotel in downtown, </strong>within<strong> walking distance to </strong>theaters, art<strong> galleries, restaurants and shops.</strong> Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
      "score": 0.9340000152587891
    },
    {
      "key": "40",
      "text": "Only 8 miles from Downtown. On-site bar/restaurant, Free hot breakfast buffet, Free wireless internet, All non-smoking hotel. Only 15 miles from airport.",
      "highlights": "Only 8 miles from Downtown. <strong>On-site bar/restaurant, Free hot breakfast buffet, Free wireless internet, </strong>All non-smoking<strong> hotel.</strong> Only 15 miles from airport.",
      "score": 0.9210000038146973
    },
    {
      "key": "38",
      "text": "Nature is Home on the beach. Explore the shore by day, and then come home to our shared living space to relax around a stone fireplace, sip something warm, and explore the library by night. Save up to 30 percent. Valid Now through the end of the year. Restrictions and blackouts may apply.",
      "highlights": "Nature is Home on the beach. Explore the shore by day, and then come home to our<strong> shared living space </strong>to relax around a stone fireplace, sip something warm, and explore the library by night. Save up to 30 percent. Valid Now through the end of the year. Restrictions and blackouts may apply.",
      "score": 0.9200000166893005
    }
  ],
  "value": [
    {
      "@search.score": 3.2328331,
      "@search.rerankerScore": 2.575303316116333,
      "@search.captions": [
        {
          "text": "The best of old town hospitality combined with views of the river and cool breezes off the prairie. Our penthouse suites offer views for miles and the rooftop plaza is open to all guests from sunset to 10 p.m. Enjoy a complimentary continental breakfast in the lobby, and free Wi-Fi throughout the hotel.",
          "highlights": "The best of old town hospitality combined with views of the river and cool breezes off the prairie. Our<strong> penthouse </strong>suites offer views for miles and the rooftop<strong> plaza </strong>is open to all guests from sunset to 10 p.m. Enjoy a<strong> complimentary continental breakfast in the lobby, </strong>and free Wi-Fi<strong> throughout </strong>the hotel."
        }
      ],
      "HotelId": "50",
      "HotelName": "Head Wind Resort",
      "Description": "The best of old town hospitality combined with views of the river and cool breezes off the prairie. Our penthouse suites offer views for miles and the rooftop plaza is open to all guests from sunset to 10 p.m. Enjoy a complimentary continental breakfast in the lobby, and free Wi-Fi throughout the hotel.",
      "Category": "Suite"
    },
    {
      "@search.score": 0.632956,
      "@search.rerankerScore": 2.5425150394439697,
      "@search.captions": [
        {
          "text": "Every stay starts with a warm cookie. Amenities like the Counting Sheep sleep experience, our Wake-up glorious breakfast buffet and spacious workout facilities await.",
          "highlights": "Every stay starts with a warm cookie. Amenities like the<strong> Counting Sheep sleep experience, </strong>our<strong> Wake-up glorious breakfast buffet and spacious workout facilities </strong>await."
        }
      ],
      "HotelId": "34",
      "HotelName": "Lakefront Captain Inn",
      "Description": "Every stay starts with a warm cookie. Amenities like the Counting Sheep sleep experience, our Wake-up glorious breakfast buffet and spacious workout facilities await.",
      "Category": "Budget"
    },
    {
      "@search.score": 3.7076726,
      "@search.rerankerScore": 2.4554927349090576,
      "@search.captions": [
        {
          "text": "Chic hotel near the city. High-rise hotel in downtown, within walking distance to theaters, art galleries, restaurants and shops. Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
          "highlights": "Chic hotel near the city. <strong>High-rise hotel in downtown, </strong>within<strong> walking distance to </strong>theaters, art<strong> galleries, restaurants and shops.</strong> Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance."
        }
      ],
      "HotelId": "24",
      "HotelName": "Uptown Chic Hotel",
      "Description": "Chic hotel near the city. High-rise hotel in downtown, within walking distance to theaters, art galleries, restaurants and shops. Visit Seattle Art Museum by day, and then head over to Benaroya Hall to catch the evening's concert performance.",
      "Category": "Suite"
    },
   . . .
  ]
}

Várható számítási feladatok

A szemantikai rangsoroláshoz egy keresési szolgáltatásnak replikánként legfeljebb 10 egyidejű lekérdezést kell támogatnia.

A szolgáltatás szabályozza a szemantikai rangsorolási kérelmeket, ha a kötetek túl magasak. Az alábbi kifejezéseket tartalmazó hibaüzenet azt jelzi, hogy a szolgáltatás alkalmas a szemantikai rangsorolásra:

Error in search query: Operation returned an invalid status 'Partial Content'`
@search.semanticPartialResponseReason`
CapacityOverloaded

Ha konzisztens átviteli követelményeket vár ezen a szinten, vagy annál magasabb szinten, küldjön egy támogatási jegyet, hogy kiéphessük a számítási feladatát.

Következő lépések

A szemantikai rangsorolás olyan hibrid lekérdezésekben használható, amelyek a kulcsszókeresést és a vektorkeresést egyetlen kérelemben és egységes válaszban egyesítik.

Hibrid lekérdezés szemantikai rangsorolóval

Megosztás a következőn keresztül: