Teljesítménytesztek használata Dzsinn-térben

Ez a cikk bemutatja, hogyan használható benchmarkok a Genie-tér pontosságának kiértékelésére.

Áttekintés

A teljesítménytesztekkel létrehozhat egy set tesztkérdéseket, amelyeket futtathat a Genie általános válaszpontosságának felméréséhez. A leggyakrabban feltett felhasználói kérdéseket lefedő teljesítménytesztek jól megtervezett set segít kiértékelni a Genie-tér pontosságát, miközben finomítja azt.

A benchmark kérdések új beszélgetésekként kezdeményezhetők. Nem ugyanazt a kontextust hordozzák, mint egy szálra fűzött Dzsinn-beszélgetés. A rendszer minden kérdést új lekérdezésként dolgoz fel a térben meghatározott utasítások alapján, beleértve a megadott példa SQL- és SQL-függvényeket is.

Teljesítménytesztekkel kapcsolatos kérdések hozzáadása

A teljesítménymutatóval kapcsolatos kérdéseknek tükrözniük kell a felhasználók által feltett gyakori kérdések kifejezésének különböző módjait. Ezekkel ellenőrizheti, hogy Genie választ adott-e a kérdések kifejezésének variációira vagy a különböző kérdésformátumokra.

Benchmark-kérdés létrehozásakor opcionálisan megadhat egy SQL-lekérdezést, amelynek eredménye set a helyes válasz. A teljesítményteszt futtatása során a pontosságot úgy értékeli a rendszer, hogy összehasonlítja az SQL-lekérdezésből set eredményt a Genie által létrehozottval.

Teljesítményteszt-kérdés hozzáadásához hajtsa végre a következő lépéseket:

1. Kattintson a bal oldali oldalsávra egy Genie-térben.

2. Kattintson a Kérdések fülre . Ezután kattintson a Teljesítménymutató hozzáadása elemre.

3. A Kérdés mezőben adjon meg egy tesztelni kívánt teljesítményteszt-kérdést.

4. (Nem kötelező) Adja meg azt az SQL-utasítást, amely pontosan megválaszolja a beírt kérdést.

   Feljegyzés

   Ez a lépés ajánlott. Csak a példában szereplő SQL-utasítást tartalmazó kérdések értékelhetők automatikusan a pontosság szempontjából. Minden olyan kérdés, amely nem tartalmaz SQL-választ , manuális felülvizsgálatot igényel.

5. (Nem kötelező) Kattintson a A futtatása parancsra a lekérdezés futtatásához és az eredmények megtekintéséhez.

6. Ha végzett a szerkesztéssel, kattintson a Teljesítménymutató hozzáadása elemre.

7. Mentés után a update kérdéssel kapcsolatban, kattintson a ceruza ikonra, hogy megnyissa a Update kérdés párbeszédpanelt.

Teljesítménytesztek használata alternatív kérdések kifejezéseinek teszteléséhez

A Genie-tér pontosságának kiértékelésekor fontos, hogy a tesztek a valósághű forgatókönyveket tükrözzék. A felhasználók különböző módokon tehetik fel ugyanezt a kérdést. A Databricks azt javasolja, hogy adjon hozzá több kifejezést ugyanahhoz a kérdéshez, és használja ugyanazt a példa SQL-t a teljesítménytesztekben a pontosság teljes felméréséhez. A legtöbb Genie szóköznek 2-4 kifejezést kell tartalmaznia ugyanahhoz a kérdéshez.

Teljesítménytesztekkel kapcsolatos kérdések futtatása

Azok a felhasználók, amelyek legalább szerkeszthetik az engedélyeket egy Genie-térben, bármikor létrehozhatnak egy teljesítményteszt-futtatási lehetőséget, amely automatikusan kiértékeli az összes teljesítményteszt-kérdést. Az egyes benchmark-kérdések kiértékeléséhez először elküldjük a kérdést a Genie-nek, majd összehasonlítjuk a Genie eredményeit a viszonyítási alaptal. A rendszer az alábbi címkék egyikét alkalmazza az egyes teljesítménymutatókra:

• Jó: A válaszok ezzel a címkével vannak megjelölve, ha a Genie által generált lekérdezés eredménye megegyezik a megadott SQL-válasz eredményeivel. Ha egy válasz Jójelölést kap, az azt jelenti, hogy a sorok values pontosan egyeznek, függetlenül a rendezési sorrendtől vagy a column nevektől.
• Felülvizsgálatra van szükség: A válaszok ezzel a címkével vannak megjelölve, ha a Genie nem tudja felmérni a helyességet, vagy ha a Genie által generált lekérdezési eredmények nem felelnek meg a megadott SQL-válasz eredményeinek. Ha a generált válaszban vagy a megadott SQL-válaszban váratlan változások lépnek fel egy tables dimenzióban, a kérdést meg lehet jelölni felülvizsgálatra. Minden olyan teljesítményteszt-kérdést, amely nem tartalmaz SQL-választ , manuálisan kell áttekinteni.
• Rossz: A válaszok soha nem lesznek automatikusan hibásként megjelölve. Ha a Genie által generált lekérdezési eredmények nem egyeznek meg a megadott SQL Answerset eredményével, a kérdés Felülvizsgálatrakerül. Ha áttekinti ezeket a teljesítményteszteket, rosszként jelölhet meg egy eredményt, ha nem gondolja, hogy a Genie által generált lekérdezési eredmények válaszolnak a kérdésre.

Az összes teljesítményteszt-kérdés futtatása:

1. Kattintson a Teljesítménymutatók elemre a Dzsinn tér oldalsávon, a képernyő bal oldalán.
2. A tesztfuttatás elindításához kattintson a Teljesítménytesztek futtatása elemre.

Hozzáférési teljesítményértékelések

Az összes benchmark-értékeléshez hozzáférhet, hogy nyomon kövesse a Genie-tér pontosságát az idő függvényében. Amikor a Dzsinn tér bal oldalsávjának Benchmarks ikonra kattint, a kiértékelési időbélyegző jelenik meg a Kiértékelések lapon. Ha nem talál kiértékelési futtatásokat, tekintse meg Teljesítményteszt-kérdések hozzáadása vagy A teljesítményteszt-kérdések futtatásacímű témakört.

A Értékelések lapon áttekintheti az értékeléseket és azok teljesítményét a következő kategóriákban:

Kiértékelési név: Egy időbélyeg, amely jelzi, hogy mikor történt egy kiértékelési futtatás. Kattintson az időbélyegre az értékelés részleteinek megtekintéséhez. Végrehajtási állapot: Azt jelzi, hogy a kiértékelés befejeződött, szüneteltetve vagy sikertelen volt-e. Ha egy kiértékelési futtatás olyan teljesítményteszt-kérdéseket tartalmaz, amelyek nem rendelkeznek előre definiált SQL-válaszokkal, az ebben a columnáttekintésre van megjelölve. Pontosság: A pontosság numerikus értékelése az összes teljesítményteszt-kérdésre vonatkozóan. A manuális felülvizsgálatot igénylő kiértékelési futtatások esetében a pontossági mérték csak a kérdések áttekintése után jelenik meg. Készítette: Az értékelést végrehajtó felhasználó nevét jelzi.

Egyéni értékelések áttekintése

Az egyes értékelések áttekintésével get az egyes válaszok részletes áttekintését. Bármilyen kérdés értékelését szerkesztheti, és update a manuális felülvizsgálatra szoruló elemeket.

Egyéni értékelések áttekintése:

1. Kattintson a Teljesítménymutatók elemre a Dzsinn tér oldalsávon, a képernyő bal oldalán.

2. Kattintson bármely kiértékelés időbélyegére a(z) Kiértékelési névcolumn alatt a tesztfuttatás részletes nézetének megnyitásához.

   

3. Kattintson a képernyő bal oldalán található kérdésre a kapcsolódó részletek megtekintéséhez. A kiértékelési részletek képernyőn hajtsa végre a következő lépéseket.

4. Tekintse át és hasonlítsa össze a modell kimeneti válaszát a Földi igazság válaszsal.

   Feljegyzés

   Ezeknek a válaszoknak az eredményei egy hétig jelennek meg a kiértékelési részletekben. Egy hét elteltével az eredmények már nem láthatók. A létrehozott SQL-utasítás és a példa SQL-utasítás megmarad.

5. Kattintson a címkére az értékelés szerkesztéséhez.

   Jelöljön meg minden eredményt Jó vagy Rossz, hogy pontos pontszámot kapjon get az értékeléshez.