Modell finomhangolási fogalmai

A finomhangolás egy előre betanított modell készítésének és az adatok jobb illesztésének folyamata. Ez a folyamat segít a lehető legtöbbet kihozni az adatokból, és javítani a modell teljesítményét. Ebben a cikkben megismerheti a finomhangolás és az AI-modellek finomhangolásának alapfogalmait.

Bevezetés

A finomhangolás egy hatékony technika, amely segíthet az adatok további kihozásában. A finomhangolás megértéséhez fontos megérteni a transzfertanulás fogalmát. A transzfer tanulás olyan gépi tanulási technika, amelyben az egyik feladatra betanított modell egy második, kapcsolódó feladatra van új célra felhasználva. Ez egy előre betanított modell betanításával és az új adatok jobb illeszkedéséhez való igazításával történik. A finomhangolás az átviteli tanulás egy formája, ahol az előre betanított modell az új adatok jobb illeszkedéséhez van igazítva.

A modell finomhangolásának több lépése is van. Először ki kell választania egy előre betanított modellt, amely megfelel a feladatának. Ezután elő kell készítenie a mintaadatokat, és finomhangolnia kell a modellt ezen adatokon. Végül iterálnia kell a modellt a teljesítmény javítása érdekében.

Mikor érdemes finomhangolni?

A finomhangolás akkor megfelelő, ha kis mennyiségű adat áll rendelkezésére, és javítani szeretné a modell teljesítményét. Egy előre betanított modelltől kezdve kihasználhatja a modell által már elsajátított ismereteket, és módosíthatja azokat, hogy jobban illeszkedjenek az adatokhoz. Ez segíthet a modell teljesítményének javításában és a betanítása során szükséges adatok mennyiségének csökkentésében.

Nagy mennyiségű adat esetén általában nem szükséges a modell finomhangolása. Ebben az esetben az alapoktól betaníthatja a modellt, és finomhangolás nélkül jó teljesítményt érhet el. A finomhangolás azonban ebben az esetben is hasznos lehet, ha tovább szeretné javítani a modell teljesítményét. Akkor is érdemes lehet finomhangolni a modellt, ha egy olyan feladattal rendelkezik, amely eltér az előre betanított modell eredetileg betanított tevékenységétől.

Előfordulhat, hogy a gyors tervezés vagy a gyors láncolás használatával elkerülheti a modellek költséges finomhangolását. Ezek a technikák segítenek kiváló minőségű szöveg létrehozásában anélkül, hogy finomhangolásra van szükség.

Előre betanított modell kiválasztása

Olyan előre betanított modellt kell választania, amely megfelel a feladat követelményeinek. Számos előre betanított modell érhető el, amelyek számos feladatra lettek betanítve. Olyan modellt kell választania, amelynek betanítása hasonló feladatra történt, mint amin éppen dolgozik. Ez segít kihasználni a modell által már elsajátított ismereteket, és az adatoknak megfelelően módosítani.

HuggingFace modellek jó kiindulópontok az előre betanított modellek keresésekor. A HuggingFace modellek a betanított feladat alapján kategóriákba vannak csoportosítva, így könnyen megtalálhatja a feladatához megfelelő modellt.

Ezek a kategóriák a következők:

• Multimodális
• Számítógépes látás
• Természetes nyelvi feldolgozás
• Hanganyag
• Táblázatos
• Megerősítési tanulás

Ellenőrizze, hogy a modell kompatibilis-e a környezettel és a használt eszközökkel. Ha például Visual Studio Codehasznál, a modell finomhangolásához használhatja a Azure Machine Learning bővítményt Visual Studio Code.

Ellenőrizze a modell állapotát és licencét. Előfordulhat, hogy egyes előre betanított modellek nyílt forráskódú licenccel érhetők el, míg mások kereskedelmi vagy személyes licencet igényelhetnek. A HuggingFace összes modellje tartalmazza a licencinformációkat. A finomhangolás előtt győződjön meg arról, hogy rendelkezik a modell használatához szükséges engedélyekkel.

Mintaadatok előkészítése

A mintaadatok előkészítése magában foglalja az adatok megtisztítását és előfeldolgozását, hogy azok megfelelőek legyenek a betanításhoz. Az adatokat betanítási és érvényesítési csoportokra is fel kell osztania a modell teljesítményének kiértékeléséhez. Az adatok formátumának meg kell egyeznie a használt előre betanított modell által várt formátummal. Ez az információ megtalálható a HuggingFace modellekkel a modellkártya utasításformátumának szakaszában. A legtöbb modellkártya tartalmaz egy sablont a modell kérésének elkészítéséhez, és néhány álkódot, amely segít az első lépésekben.

Iterálás a modellen

Miután finomhangolta a modellt, értékelnie kell a teljesítményét a validációs halmazon. A modell teljesítményének kiértékeléséhez olyan metrikákat használhat, mint a pontosság, precizitás, visszahívás és F1 pontszám. Ha a modell teljesítménye nem megfelelő, iterálhat a modellen a hiperparaméterek módosításával, az architektúra módosításával vagy a modell további adatokon történő finomhangolásával. Az adatok minőségét és sokféleségét is megvizsgálhatja, hogy vannak-e olyan problémák, amelyekkel foglalkozni kell. Általános szabály, hogy a magas minőségű adatok kisebb készlete értékesebb, mint egy nagyobb, alacsony minőségű adatkészlet.

Lásd még:

Az AI-modellek finomhangolásáról az alábbi forrásokból tudhat meg többet:

• Llama 2-es modell finomhangolása az Azure AI Foundry portálon
• egy előre betanított modell finomhangolása HuggingFace
• előre betanított modell finomhangolása TensorFlow

Amikor az AI-funkciókat használja, javasoljuk, hogy vizsgálja át a következőket: Felelős generatív AI alkalmazások és funkciók fejlesztése Windows rendszeren.