Ajánlott eljárások kiszolgáló nélküli számításhoz
Ez a cikk a kiszolgáló nélküli számítás jegyzetfüzetekben és feladatokban való használatára vonatkozó ajánlott eljárásokat ismerteti.
Ezeknek a javaslatoknak a követésével javíthatja a számítási feladatok hatékonyságát, költséghatékonyságát és megbízhatóságát az Azure Databricksben.
Számítási feladatok migrálása kiszolgáló nélküli számításba
A felhasználói kód elkülönítésének védelme érdekében a kiszolgáló nélküli számítás az Azure Databricks biztonságos megosztott hozzáférési módját használja. Emiatt egyes számítási feladatokhoz kódmódosításra lesz szükség a kiszolgáló nélküli számítás további működéséhez. A nem támogatott funkciók listáját a kiszolgáló nélküli számítási korlátozások című témakörben találja.
Bizonyos számítási feladatok könnyebben migrálhatóak, mint mások. Az alábbi követelményeknek megfelelő számítási feladatok a legegyszerűbben migrálhatók:
- A hozzáférő adatokat a Unity Katalógusban kell tárolni.
- A számítási feladatnak kompatibilisnek kell lennie a megosztott hozzáférési mód számításával.
- A számítási feladatnak kompatibilisnek kell lennie a Databricks Runtime 14.3 vagy újabb verziójával.
Annak ellenőrzéséhez, hogy egy számítási feladat működik-e kiszolgáló nélküli számításon, futtassa azt egy nem kiszolgáló nélküli számítási erőforráson megosztott hozzáférési móddal és egy 14.3-os vagy újabb Databricks-futtatókörnyezettel. Ha a futtatás sikeres, a számítási feladat készen áll a migrálásra.
A változás jelentősége és a korlátozások jelenlegi listája miatt számos számítási feladat nem fog zökkenőmentesen migrálni. Ahelyett, hogy mindent kijavítana, az Azure Databricks azt javasolja, hogy az új számítási feladatok létrehozásakor rangsorolja a kiszolgáló nélküli számítási kompatibilitást.
Adatok betöltése külső rendszerekből
Mivel a kiszolgáló nélküli számítás nem támogatja a JAR-fájlok telepítését, nem használhat JDBC- vagy ODBC-illesztőt külső adatforrásból származó adatok betöltéséhez.
A betöltéshez használható alternatív stratégiák a következők:
SQL-alapú építőelemek, például COPY INTO és streamelési táblák.
Az automatikus betöltő növekményesen és hatékonyan dolgozza fel az új adatfájlokat a felhőbeli tárolóba érkezve. Lásd : Mi az automatikus betöltő?.
Adatbetöltési partnermegoldások. Lásd: Csatlakozás betöltési partnerekhez a Partner Connect használatával.
Az adatok hozzáadása felhasználói felület a fájlok közvetlen feltöltéséhez. Lásd: Fájlok feltöltése az Azure Databricksbe.
Betöltési alternatívák
Kiszolgáló nélküli számítás használatakor az alábbi funkciókkal is lekérdezheti az adatokat áthelyezés nélkül.
- Ha korlátozni szeretné az adatok duplikációját, vagy garantálja, hogy a lehető legfrissebb adatokat kérdezi le, a Databricks a Delta Sharing használatát javasolja. Lásd : Mi az a deltamegosztás?.
- Ha alkalmi jelentéskészítést és megvalósíthatósági igazolást szeretne végezni, a Databricks a megfelelő választás kipróbálását javasolja, amely lehet a Lakehouse Federation. A Lakehouse Federation lehetővé teszi a teljes adatbázisok szinkronizálását az Azure Databricksbe külső rendszerekből, és a Unity Catalog szabályozza. Lásd : Mi az a Lakehouse Federation?.
Próbáljon ki egyet vagy mindkettőt, és ellenőrizze, hogy megfelelnek-e a lekérdezési teljesítményre vonatkozó követelményeknek.
A kiszolgáló nélküli számítás költségeinek monitorozása
A kiszolgáló nélküli számítás költségeinek figyeléséhez több funkció is használható:
Rendszertáblák használatával irányítópultokat hozhat létre, riasztásokat állíthat be és alkalmi lekérdezéseket hajthat végre. Lásd : A kiszolgáló nélküli számítás költségeinek monitorozása.
Költségvetés-riasztások beállítása a fiókjában. Lásd: Költségvetések létrehozása és monitorozása.
Előre konfigurált használati irányítópult importálása. Lásd: Használati irányítópult importálása.