Oktatóanyag: A RAG beágyazási és csevegési modelljeinek kiválasztása az Azure AI Searchben

Az Azure AI Searchre épülő RAG-megoldások függőséget igényelnek a vektorizálási modellek beágyazásán, valamint az adatok közötti beszélgetési kereséshez használt csevegőmodelleken.

Az oktatóanyag során az alábbi lépéseket fogja végrehajtani:

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Előfeltételek

• Az Azure Portal, amely modellek üzembe helyezésére és szerepkör-hozzárendelések konfigurálására szolgál az Azure-felhőben.

• Tulajdonosi vagy felhasználói hozzáférés-rendszergazdai szerepkör az Azure-előfizetésben, amely a szerepkör-hozzárendelések létrehozásához szükséges. Ebben az oktatóanyagban legalább három Azure-erőforrást használ. A kapcsolatok hitelesítése Microsoft Entra-azonosítóval történik, amelyhez szerepkörök létrehozása szükséges. A modellekhez való csatlakozás szerepkör-hozzárendeléseit ebben a cikkben dokumentáljuk. Ha nem tud szerepköröket létrehozni, használhatja helyette az API-kulcsokat .

• Egy modellszolgáltató, például az Azure OpenAI, az Azure AI Vision egy többszolgáltatásos Azure AI-erőforráson vagy az Azure AI Foundryn keresztül.

  Ebben az oktatóanyagban az Azure OpenAI-t használjuk. Más szolgáltatók is szerepelnek a listában, hogy megismerje az integrált vektorizálási lehetőségeket.

• Az Azure AI Search alapszintű vagy magasabb szintje egy szerepkör-hozzárendelésekben használt felügyelt identitást biztosít.

• Egy megosztott régió. A sorozat összes oktatóanyagának elvégzéséhez a régiónak támogatnia kell az Azure AI Searcht és a modellszolgáltatót is. A támogatott régiókat a következő célokra tekinti meg:

  • Azure OpenAI-régiók

  • Azure AI Vision-régiók

  • Azure AI Foundry-régiók .

  Az Azure AI Search jelenleg néhány régióban korlátozott rendelkezésre állással rendelkezik. A régió állapotának megerősítéséhez ellenőrizze az Azure AI Search régiólistáját.

A beépített vektorizálást támogató modellek áttekintése

A vektorizált tartalom javítja a lekérdezési eredményeket egy RAG-megoldásban. Az Azure AI Search támogatja az indexelési folyamat beépített vektorizálási műveletét. Emellett támogatja a vektorizálást a lekérdezések idején, a szöveg- vagy képbemeneteket beágyazásokká alakítva a vektorkereséshez. Ebben a lépésben azonosítsa a tartalomhoz és a lekérdezésekhez használható beágyazási modellt. Ha nyers vektoradatokat és nyersvektor-lekérdezéseket biztosít, vagy ha a RAG-megoldás nem tartalmaz vektoradatokat, hagyja ki ezt a lépést.

A szöveg-vektor konverziós lépést tartalmazó vektoros lekérdezések ugyanazt a beágyazási modellt kell használniuk, amelyet az indexelés során használtak. A keresőmotor nem ad hibát, ha különböző modelleket használ, de gyenge eredményeket kap.

Az azonos modellre vonatkozó követelmény teljesítéséhez válassza a beágyazási modelleket, amelyek az indexelés során végzett jártasságokon és a lekérdezés végrehajtása során vektorizálókon keresztül hivatkozhatók. Az alábbi táblázat a képesség- és vektorizáló párokat sorolja fel. A beágyazási modellek felhasználási módjának megtekintéséhez ugorjon előre, és hozzon létre egy indexelési folyamatot olyan kódhoz, amely beágyazási képességet és egy megfelelő vektorizálót hív meg.

Az Azure AI Search készség- és vektorfejlesztői támogatást nyújt az alábbi beágyazási modellekhez az Azure-felhőben.

¹ Támogatja a kép- és szövegvektorálást.

² A modellkatalógusban üzembe helyezett modellek egy AML-végponton keresztül érhetők el. Ehhez a kapcsolathoz a meglévő AML-készséget használjuk.

Az itt felsorolt modelleken kívül más modelleket is használhat. További információ: Nem Azure-beli modellek használata beágyazásokhoz ebben a cikkben.

A generatív AI lekérdezési idején használt modelljeinek áttekintése

Az Azure AI Search nem rendelkezik csevegőmodellekhez használható integrációs kóddal, ezért olyan LLM-et kell választania, amelyet ismer, és amely megfelel a követelményeknek. A lekérdezési kódot úgy módosíthatja, hogy különböző modelleket próbáljon ki anélkül, hogy újra kellene építenie egy indexet, vagy újra kellene futtatnia az indexelési folyamat bármely részét. Tekintse át a Keresés elemet, és hozzon létre válaszokat a csevegőmodellt meghívó kódhoz.

Az alábbi modelleket gyakran használják csevegéses keresési élményhez:

A GPT-35-Turbo és a GPT-4 modellek úgy vannak optimalizálva, hogy beszélgetésként formázott bemenetekkel működjenek.

Ebben az oktatóanyagban a GPT-4o-t használjuk. A tesztelés során megállapítottuk, hogy kevésbé valószínű a saját betanítási adatainak kiegészítése. Ha például "a föld mekkora részét borítja víz?", a GPT-35-Turbo a földről szóló beépített ismerete alapján azt válaszolta, hogy a föld 71%-át víz borítja, annak ellenére, hogy a mintaadatok nem adják meg ezt a tényt. Ezzel szemben, GPT-4o válaszolt (helyesen) a "Nem tudom".

Modellek üzembe helyezése és információk gyűjtése

A modelleket egy végponton keresztül kell üzembe helyezni és elérhetővé tenni. A beágyazással kapcsolatos készségeknek és a vektorizálóknak egyaránt szükségük van a dimenziók számára és a modell nevére.

Ez az oktatóanyag-sorozat a következő modelleket és modellszolgáltatókat használja:

• Text-embedding-3-large az Azure OpenAI-ban beágyazáshoz
• GPT-4o az Azure OpenAI-ban a csevegés befejezéséhez

A modellek Azure OpenAI-ban való üzembe helyezéséhez a Cognitive Services OpenAI-közreműködője vagy annál magasabb szintű közreműködője szükséges.

1. Nyissa meg az Azure AI Foundryt.

2. A bal oldali menüben válassza a Központi telepítések lehetőséget.

3. Válassza a Modell>üzembe helyezése alapmodellt.

4. A legördülő listából válassza a 3-nagy méretű szövegbe ágyazás lehetőséget, és erősítse meg a kijelölést.

5. Adja meg az üzembe helyezés nevét. Javasoljuk, hogy "text-embedding-3-large".

6. Fogadja el az alapértelmezett beállításokat.

7. Válassza az Üzembe helyezés lehetőséget.

8. Ismételje meg az előző lépéseket a gpt-4o esetében.

9. Jegyezze fel a modellneveket és a végpontot. A beágyazási képességek és a vektorizálók belsőleg állítják össze a teljes végpontot, így csak az erőforrás URI-ra van szüksége. Adott például az a végpont, https://MY-FAKE-ACCOUNT.openai.azure.com/openai/deployments/text-embedding-3-large/embeddings?api-version=2024-06-01amelyet a képesség- és vektorizáló-definíciókban meg kell adnia.https://MY-FAKE-ACCOUNT.openai.azure.com

A keresőmotor Azure-modellekhez való hozzáférésének konfigurálása

A folyamatok és lekérdezések végrehajtásához ez az oktatóanyag a Microsoft Entra-azonosítót használja hitelesítéshez és szerepkörökhöz az engedélyezéshez.

Rendelje hozzá saját magát és a keresési szolgáltatás identitásengedélyeit az Azure OpenAI-ban. Az oktatóanyag kódja helyileg fut. Az Azure OpenAI-kérések a rendszerből származnak. Emellett a keresőmotor keresési eredményeit az Azure OpenAI-nak is átadja a rendszer. Ezért Önnek és a keresési szolgáltatásnak is engedélyre van szüksége az Azure OpenAI-hoz.

1. Jelentkezzen be az Azure Portalra , és keresse meg a keresési szolgáltatást.

2. Az Azure AI Search konfigurálása rendszer által felügyelt identitás használatára.

3. Keresse meg az Azure OpenAI-erőforrást.

4. A bal oldali menüben válassza a Hozzáférés-vezérlés (IAM) lehetőséget.

5. Válassza a Szerepkör-hozzárendelés hozzáadása lehetőséget.

6. Válassza a Cognitive Services OpenAI-felhasználót.

7. Válassza a Felügyelt identitás lehetőséget, majd válassza a Tagok lehetőséget. Keresse meg a keresési szolgáltatás rendszer által felügyelt identitását a legördülő listában.

8. Ezután válassza a Felhasználó, csoport vagy szolgáltatásnév lehetőséget, majd válassza a Tagok lehetőséget. Keresse meg a felhasználói fiókját, majd válassza ki a legördülő listából.

9. Győződjön meg arról, hogy két biztonsági tag van hozzárendelve a szerepkörhöz.

10. Válassza a Véleményezés és hozzárendelés lehetőséget a szerepkör-hozzárendelések létrehozásához.

Az Azure AI Vision modelljeihez való hozzáféréshez rendelje hozzá a Cognitive Services OpenAI-felhasználót. Az Azure AI Foundry esetében rendelje hozzá az Azure AI Developert.

Nem Azure-beli modellek használata beágyazáshoz

A beágyazási modellek integrálásának mintája az, hogy egy egyéni képességbe és egyéni vektorizálóba burkoljuk. Ez a szakasz hivatkozásokat tartalmaz hivatkozási cikkekre. Ha egy nem Azure-beli modellt hív meg, tekintse meg az egyéni beágyazások bemutatóját.

Következő lépés