Számítási szabályzat referenciája

Ez a cikk a számítási házirend-definíciókra vonatkozó hivatkozás. A cikkek az elérhető szabályzatattribútumok és korlátozástípusok hivatkozását tartalmazzák. Mintaszabályzatok is rendelkezésre állnak, amelyekre hivatkozhat a gyakori használati esetekhez.

Mik azok a szabályzatdefiníciók?

A szabályzatdefiníciók JSON-ban kifejezett egyedi szabályzatszabályok. A definíciók a Clusters APIáltal szabályozott attribútumokhoz adhatnak hozzá szabályt. Ezek a definíciók például beállítanak egy alapértelmezett automatikus lezárási időt, megtiltják a felhasználók számára a csoportok használatát, és megkövetelik a Photon használatát.

{
  "autotermination_minutes": {
    "type": "unlimited",
    "defaultValue": 4320,
    "isOptional": true
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "runtime_engine": {
    "type": "fixed",
    "value": "PHOTON",
    "hidden": true
  }
}

Attribútumonként csak egy korlátozás lehet. Az attribútum elérési útja az API-attribútum nevét tükrözi. Beágyazott attribútumok esetén az elérési út pontokkal fűzi össze a beágyazott attribútumneveket. A szabályzatdefinícióban nem definiált attribútumok nem lesznek korlátozva.

támogatott attribútumok

A szabályzatok támogatják az Clusters API-által felügyelt összes attribútumot. Az attribútumokon elhelyezhető korlátozások típusa beállításonként változhat a felhasználói felület elemeinek típusa és viszonya alapján. A számítási engedélyek meghatározásához nem használhat házirendeket.

Az irányelvek használatával is beállíthatja az óránként maximálisan engedélyezett DBU-k számát és a fürt típusát. Lásd: virtuális attribútum elérési útjai.

Az alábbi táblázat a támogatott szabályzatattribútum-útvonalakat sorolja fel:

virtuális attribútum elérési útjai

Ez a táblázat két további, szabályzatok által támogatott szintetikus attribútumot tartalmaz:

Speciális szabályzatértékek a Databricks Futtatókörnyezet kiválasztásához

A spark_version attribútum olyan speciális értékeket támogat, amelyek dinamikusan leképezettek egy Databricks Runtime-verzióra a támogatott Databricks Runtime-verziók aktuális készlete alapján.

A következő értékek használhatók a spark_version attribútumban:

• auto:latest: Az általános elérhetőségű Databricks Runtime legújabb verziójára utal.
• auto:latest-ml: A Databricks Runtime ML legújabb verziójának felel meg.
• auto:latest-lts: A Databricks Runtime legújabb, hosszú távú támogatási (LTS) verziójára van leképezve.
• auto:latest-lts-ml: A legújabb LTS Databricks Runtime ML-verzióra van átirányítva.
• auto:prev-major: A ga Databricks Runtime második legújabb verziójára van leképzve. Ha például auto:latest 14,2, akkor auto:prev-major 13,3.
• auto:prev-major-ml: A GA Databricks Runtime ML második legújabb verziójára van leképzve. Ha például auto:latest 14,2, akkor auto:prev-major 13,3.
• auto:prev-lts: A második legújabb LTS Databricks Runtime-verziónak felel meg. Ha például auto:latest-lts 13,3, akkor auto:prev-lts 12,2.
• auto:prev-lts-ml: Az LTS Databricks Runtime ML második legújabb verziójának felel meg. Ha például auto:latest-lts 13,3, akkor auto:prev-lts 12,2.

Támogatott szabályzattípusok

Ez a szakasz az egyes elérhető szabályzattípusokra vonatkozó hivatkozást tartalmaz. A szabályzattípusoknak két kategóriája van: rögzített szabályzatok és a szabályzatok korlátozása.

A rögzített szabályzatok megakadályozzák a felhasználó konfigurálását egy attribútumon. A rögzített szabályzatok két típusa:

• Rögzített szabályzat
• Tiltott szabályzat

A szabályzatok korlátozása korlátozza egy felhasználó attribútum konfigurálásának lehetőségeit. A szabályzatok korlátozása lehetővé teszi az alapértelmezett értékek beállítását és az attribútumok opcionálissá tétele is. Lásd: További korlátozási házirendmezők.

A szabályzatok korlátozásának lehetőségei a következők:

• Engedélyezési lista szabályzat
• Tiltólista-szabályzat
• Regex-szabályzat
• Hatókörpolitika
• Korlátlan szabályzat

Rögzített szabályzat

A rögzített szabályzatok az attribútumot a megadott értékre korlátozzák. A numerikustól és logikaitól eltérő attribútumértékek esetében az értéket sztringgel kell ábrázolni vagy átalakítani.

Rögzített szabályzatok esetén az attribútumot a felhasználói felületről is elrejtheti, ha a hidden mezőt trueértékre állítja.

interface FixedPolicy {
    type: "fixed";
    value: string | number | boolean;
    hidden?: boolean;
}

Ez a példaszabályzat kijavítja a Databricks Futtatókörnyezet verzióját, és elrejti a mezőt a felhasználó felhasználói felületén:

{
  "spark_version": { "type": "fixed", "value": "auto:latest-lts", "hidden": true }
}

Tiltott szabályzat

A tiltott szabályzatok megakadályozzák, hogy a felhasználók konfigurálják az attribútumokat. A tiltott szabályzatok csak az opcionális attribútumokkal kompatibilisek.

interface ForbiddenPolicy {
    type: "forbidden";
}

Ez a szabályzat megtiltja az erőforrás-készletek csatlakoztatását a számítási csomópontokban lévő munkavégzők számára. Az erőforráskészletek használata a végrehajtó csomópont számára is tilos, mert driver_instance_pool_id örökli a szabályzatot.

{
  "instance_pool_id": { "type": "forbidden" }
}

Engedélyezési lista szabályzata

Az engedélyezési listák házirendje meghatározza azokat az értékeket, amelyek közül a felhasználó választhat egy attribútum konfigurálásakor.

interface AllowlistPolicy {
  type: "allowlist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Ez az engedélyezési lista példa lehetővé teszi, hogy a felhasználó két Databricks Runtime-verzió közül válasszon:

{
  "spark_version": { "type": "allowlist", "values": ["13.3.x-scala2.12", "12.2.x-scala2.12"] }
}

blokkolólistára vonatkozó szabályzat

A tiltólista-szabályzat a nem engedélyezett értékeket sorolja fel. Mivel az értékeknek pontosan meg kell egyezniük, előfordulhat, hogy ez az irányelv nem a várt módon működik, ha az attribútum engedékeny az értékek ábrázolása terén (például megengedve a kezdő és záró szóközöket).

interface BlocklistPolicy {
  type: "blocklist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Ez a példa megakadályozza, hogy a felhasználó 7.3.x-scala2.12 a Databricks futtatókörnyezeteként válassza ki.

{
  "spark_version": { "type": "blocklist", "values": ["7.3.x-scala2.12"] }
}

Regex-szabályzat

A regex-szabályzatok a regexnek megfelelő értékekre korlátozzák a rendelkezésre álló értékeket. A biztonság érdekében győződjön meg arról, hogy a regex a sztringérték elejéhez és végéhez van rögzítve.

interface RegexPolicy {
  type: "regex";
  pattern: string;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Ez a példa korlátozza azokat a Databricks Runtime-verziókat, ahonnan a felhasználó választhat:

{
  "spark_version": { "type": "regex", "pattern": "13\\.[3456].*" }
}

tartományszabályzat

A tartományszabályzat a minValue és a maxValue mezők használatával korlátozza az értéket egy megadott tartományra. Az értéknek tizedes törtnek kell lennie. A numerikus korlátoknak kettős pontosságú lebegőpontos értékként kell ábrázolhatónak lenniük. Egy adott korlát hiányának jelzéséhez kihagyhatja minValue vagy maxValue.

interface RangePolicy {
  type: "range";
  minValue?: number;
  maxValue?: number;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Ez a példa a dolgozók maximális számát 10-re korlátozza:

{
  "num_workers": { "type": "range", "maxValue": 10 }
}

Korlátlan szabályzat

A korlátlan szabályzat attribútumok megkövetelésére vagy az alapértelmezett érték megadására szolgál a felhasználói felületen.

interface UnlimitedPolicy {
  type: "unlimited";
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Ez a példa hozzáadja a COST_BUCKET címkét a számításhoz:

{
  "custom_tags.COST_BUCKET": { "type": "unlimited" }
}

Egy Spark-konfigurációs változó alapértelmezett értékének beállításához, de a kihagyás (eltávolítás) engedélyezéséhez is:

{
  "spark_conf.spark.my.conf": { "type": "unlimited", "isOptional": true, "defaultValue": "my_value" }
}

További korlátozási házirendi mezők

A szabályzattípusok korlátozásához két további mezőt is megadhat:

• defaultValue – Az az érték, amely automatikusan kitöltődik a számítás létrehozási felhasználói felületen.
• isOptional – Egy attribútum korlátozási szabályzata automatikusan megköveteli. Ha az attribútumot nem kötelező megadni, állítsa a isOptional mezőt trueértékre.

Ez a példaszabályzat meghatározza a munka csomópontok csoportjának alapértelmezett id1 értékét, de ez nem kötelező. A számítás létrehozásakor kiválaszthat egy másik készletet, vagy dönthet úgy, hogy nem használ egyet. Ha driver_instance_pool_id nincs definiálva a szabályzatban vagy a számítás létrehozásakor, ugyanazt a készletet használja a feldolgozó csomópontokhoz és az illesztőprogram-csomóponthoz.

{
  "instance_pool_id": { "type": "unlimited", "isOptional": true, "defaultValue": "id1" }
}

Szabályzatok írása tömbattribútumokhoz

A tömbattribútumok irányelveket kétféleképpen adhat meg:

• Általános korlátozások az összes tömbelemre vonatkozóan. Ezek a korlátozások a * helyettesítő karaktert használják a szabályzati útvonalban.
• Egy adott index tömbelemének konkrét korlátozásai. Ezek a korlátozások az elérési útvonalban használnak számot.

A tömbattribútum init_scriptsesetében például az általános elérési utak init_scripts.*-el kezdődnek, míg a specifikus elérési utak init_scripts.<n>-vel, ahol a <n> egy egész számindex a tömbben (0-tól kezdve). Egyesítheti az általános és a konkrét korlátozásokat, ebben az esetben az általános korlátozás minden olyan tömbelemre vonatkozik, amely nem rendelkezik konkrét korlátozással. Minden esetben csak egy szabályzatkorlátozás lesz érvényben.

Az alábbi szakaszok tömbattribútumokat használó gyakori példákat mutatnak be.

Belefoglalásspecifikus bejegyzések megkövetelése

A sorrend megadása nélkül nem igényelhet konkrét értékeket. Például:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-2>"
  }
}

A teljes lista rögzített értékének megkövetelése

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

A használat teljes letiltása

{
  "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Adott korlátozást követő bejegyzések engedélyezése

{
  "init_scripts.*.volumes.destination": {
    "type": "regex",
    "pattern": ".*<required-content>.*"
  }
}

Init-szkriptek meghatározott halmazának javítása

init_scripts elérési utak esetén a tömb több olyan struktúra egyikét is tartalmazhatja, amelyekhez a használati esettől függően az összes lehetséges változatot kezelni kell. Ha például inicializálási szkriptek meghatározott készletét szeretné megkövetelni, és nem szeretné letiltani a másik verzió bármely változatát, a következő mintát használhatja:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.*.workspace.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.abfss.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.file.destination": {
    "type": "forbidden"
  }
}

Házirend-példák

Ez a szakasz olyan házirend-példákat tartalmaz, amelyek hivatkozásként használhatók saját szabályzatok létrehozásához. Az Azure Databricks által biztosított szabályzatcsaládokat sablonként is használhatja a gyakori szabályzathasználati esetekhez.

• Általános számítási szabályzat
• A DLT-folyamat számítási korlátainak meghatározása
• Egyszerű, közepes méretű szabályzat
• Csak munkára vonatkozó szabályzat
• Külső metaadat-tárházi szabályzat
• A számítás használatának megakadályozása a munkákhoz
• Automatikus méretezési szabályzat eltávolítása
• Egyéni címkék érvényesítése

Általános számítási szabályzat

Általános célú számítási szabályzat, amely a felhasználók irányítására és bizonyos funkciók korlátozására szolgál, ugyanakkor címkéket igényel, korlátozza a példányok maximális számát, és kényszeríti az időtúllépést.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_version": {
    "type": "regex",
    "pattern": "12\\.[0-9]+\\.x-scala.*"
  },
  "node_type_id": {
    "type": "allowlist",
    "values": ["Standard_L4s", "Standard_L8s", "Standard_L16s"],
    "defaultValue": "Standard_L16s_v2"
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L16s_v2",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 25,
    "defaultValue": 5
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

A DLT-folyamatok számítási korlátainak meghatározása

Egy számítási folyamat házirendjének konfigurálásához hozzon létre egy házirendet a cluster_type mezőt dltértékre állítva. Az alábbi példa minimális szabályzatot hoz létre egy DLT-számításhoz:

{
  "cluster_type": {
    "type": "fixed",
    "value": "dlt"
  },
  "num_workers": {
    "type": "unlimited",
    "defaultValue": 3,
    "isOptional": true
  },
  "node_type_id": {
    "type": "unlimited",
    "isOptional": true
  },
  "spark_version": {
    "type": "unlimited",
    "hidden": true
  }
}

Egyszerű, közepes méretű szabályzat

A felhasználók minimális konfigurációval hozhatnak létre közepes méretű számításokat. A létrehozáskor az egyetlen kötelező mező a számítási név; a többi rögzített és rejtett.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "forbidden",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "fixed",
    "value": 10,
    "hidden": true
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 60,
    "hidden": true
  },
  "node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "auto:latest-ml",
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Csak munkára vonatkozó szabályzat

Lehetővé teszi, hogy a felhasználók feladatszámítást hozzanak létre a feladatok futtatásához. A felhasználók nem hozhatnak létre teljes körű számítást ezzel a házirenddel.

{
  "cluster_type": {
    "type": "fixed",
    "value": "job"
  },
  "dbus_per_hour": {
    "type": "range",
    "maxValue": 100
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "num_workers": {
    "type": "range",
    "minValue": 1
  },
  "node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "driver_node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "spark_version": {
    "type": "unlimited",
    "defaultValue": "auto:latest-lts"
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Külső metaadattárház-szabályzat

Lehetővé teszi a felhasználók számára a számítás létrehozását egy rendszergazda által definiált, már csatolt metaadattár használatával. Ez azért hasznos, mert lehetővé teszi a felhasználók számára, hogy további konfiguráció nélkül hozzanak létre saját számításokat.

{
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionURL": {
    "type": "fixed",
    "value": "jdbc:sqlserver://<jdbc-url>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionDriverName": {
    "type": "fixed",
    "value": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  },
  "spark_conf.spark.databricks.delta.preview.enabled": {
    "type": "fixed",
    "value": "true"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionUserName": {
    "type": "fixed",
    "value": "<metastore-user>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionPassword": {
    "type": "fixed",
    "value": "<metastore-password>"
  }
}

Annak megakadályozása, hogy a számítási erőforrások feladatokkal használhatók legyenek

Ez a szabályzat megakadályozza, hogy a felhasználók a számítási feladatot futtatják. A felhasználók csak jegyzetfüzetekkel használhatják a számítást.

{
  "workload_type.clients.notebooks": {
    "type": "fixed",
    "value": true
  },
  "workload_type.clients.jobs": {
    "type": "fixed",
    "value": false
  }
}

Automatikus méretezési szabályzat eltávolítása

Ez a szabályzat letiltja az automatikus skálázást, és lehetővé teszi a felhasználó számára, hogy beállítsa a feldolgozók számát egy adott tartományon belül.

{
  "num_workers": {
    "type": "range",
    "maxValue": 25,
    "minValue": 1,
    "defaultValue": 5
  }
}

Egyéni címkék érvényesítése

Ha számítási címkeszabályt szeretne hozzáadni egy szabályzathoz, használja a custom_tags.<tag-name> attribútumot.

A szabályzatot használó felhasználóknak például ki kell tölteniük egy COST_CENTER címkét a 9999,9921 vagy 9531 azonosítóval a számítás elindításához:

{ "custom_tags.COST_CENTER": { "type": "allowlist", "values": ["9999", "9921", "9531"] } }