A LightGBM áttekintése a SynapseML-ben
A LightGBM egy nyílt forráskódú, elosztott, nagy teljesítményű színátmenet-növelő keretrendszer (GBDT, GBRT, GBM vagy MART). Ez a keretrendszer kiváló minőségű és GPU-kompatibilis döntési fa algoritmusok létrehozására specializálódott a rangsoroláshoz, besoroláshoz és sok más gépi tanulási feladathoz. A LightGBM a Microsoft DMTK-projektjének része.
A LightGBM előnyei
- Kompatibilitás: A LightGBM-modellek beépíthetők a meglévő SparkML-folyamatokba, és kötegelt, streamelhető és számítási feladatok kiszolgálására használhatók.
- Teljesítmény: A Sparkon a LightGBM 10-30%-kal gyorsabb, mint a SparkML a Higgs-adathalmazon , és 15%-os növekedést ér el az AUC-ban. Párhuzamos kísérletek igazolták, hogy a LightGBM több gép használatával képes lineáris felgyorsulni bizonyos beállítások betanítására.
- Funkcionalitás: A LightGBM számos , a döntési farendszer testreszabására használható paramétert kínál. A Spark LightGBM új típusú problémákat is támogat, például a kvantilis regressziót.
- Platformfüggetlen: A Sparkon elérhető LightGBM a Sparkon, a PySparkon és a SparklyR-en.
LightGBM-használat
- LightGBMClassifier: besorolási modellek létrehozásához használatos. Például annak előrejelzéséhez, hogy egy vállalat csődbe megy-e vagy sem, létrehozhatunk egy bináris besorolási modellt a következővel
LightGBMClassifier: . - LightGBMRegressor: regressziós modellek létrehozásához használatos. Például a lakásárak előrejelzéséhez létrehozhatunk egy regressziós modellt a
LightGBMRegressor. - LightGBMRanker: rangsorolási modellek készítéséhez használatos. Például a webhely keresési eredményeinek relevanciájának előrejelzéséhez létrehozhatunk egy rangsorolási modellt.
LightGBMRanker