Hesap politikası referansı

Bu makale, hesaplama politikası tanımları için bir referanstır. Makaleler, kullanılabilir ilke özniteliklerinin ve sınırlama türlerinin başvurularını içerir. Yaygın kullanım örnekleri için başvurabileceğiniz örnek ilkeler de vardır.

İlke tanımları nelerdir?

İlke tanımları, JSON ile ifade edilen tek tek ilke kurallarıdır. Tanım, Kümeler API'ile denetlenen özniteliklerden herhangi birine bir kural ekleyebilir. Örneğin, bu tanımlar varsayılan bir otomatik belirleme süresi ayarlar, kullanıcıların havuz kullanmasını yasaklar ve Photon kullanımını zorlar:

{
  "autotermination_minutes": {
    "type": "unlimited",
    "defaultValue": 4320,
    "isOptional": true
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "runtime_engine": {
    "type": "fixed",
    "value": "PHOTON",
    "hidden": true
  }
}

Öznitelik başına yalnızca bir sınırlama olabilir. Özniteliğin yolu API öznitelik adını yansıtır. İç içe öznitelikler için yol, iç içe öznitelik adlarını noktalar kullanarak birleştirir. İlke tanımında tanımlanmayan öznitelikler sınırlı değildir.

Desteklenen Öznitelikler

Politikalar, Kümeleri APIile denetlenen tüm öznitelikleri destekler. Özniteliklere yerleştirebileceğiniz kısıtlamaların türü, kullanıcı arabirimi öğelerine ve türlerine göre ayara göre farklılık gösterebilir. İşlem izinlerini tanımlamak için ilkeleri kullanamazsınız.

İlkeleri, saat başına maksimum DBU'ları ve küme türünü ayarlamak için de kullanabilirsiniz. bkz. Sanal öznitelik yolları.

Aşağıdaki tabloda desteklenen ilke öznitelik yolları listelenmektedir:

Sanal öznitelik yolları

Bu tablo, ilkeler tarafından desteklenen iki ek yapay öznitelik içerir:

Databricks Runtime seçimi için özel ilke değerleri

spark_version özniteliği, mevcut desteklenen Databricks Runtime sürümleri kümesine göre, dinamik olarak bir Databricks Runtime sürümüne eşleşen özel değerleri destekler.

spark_version özniteliğinde aşağıdaki değerler kullanılabilir:

• auto:latest: En son GA Databricks Runtime sürümüne karşılık gelir.
• auto:latest-ml: Databricks Runtime ML'nin son sürümüne karşılık gelir.
• auto:latest-lts: En son uzun vadeli destek (LTS) Databricks Runtime sürümüne haritalar.
• auto:latest-lts-ml: En son LTS Databricks Runtime ML sürümüyle eşleşir.
• auto:prev-major: İkinci en son GA Databricks Runtime sürümüne karşılık gelir. Örneğin, auto:latest 14.2 ise auto:prev-major 13.3 olur.
• auto:prev-major-ml: Bir önceki GA Databricks Runtime ML sürümüne karşılık gelir. Örneğin, auto:latest 14.2 ise auto:prev-major 13.3 olur.
• auto:prev-lts: İkinci en güncel LTS Databricks Runtime sürümüne karşılık gelir. Örneğin, auto:latest-lts 13.3 ise auto:prev-lts 12.2 olur.
• auto:prev-lts-ml: İkinci en son LTS Databricks Runtime ML sürümüne karşılık gelir. Örneğin, auto:latest-lts 13.3 ise auto:prev-lts 12.2 olur.

Desteklenen ilke türleri

Bu bölüm, kullanılabilir ilke türlerinin her biri için bir başvuru içerir. İki ilke türü kategorisi vardır: sabit ilkeler ve sınırlama ilkeleri.

Bir öznitelikte kullanıcı yapılandırmasını engelleyen ilkeler düzeltildi. İki tür sabit ilke şunlardır:

• Sabit ilke
• Yasak politika

İlkeleri sınırlamak, kullanıcının öznitelik yapılandırma seçeneklerini sınırlar. İlkeleri sınırlamak, varsayılan değerleri ayarlamanıza ve öznitelikleri isteğe bağlı hale getirmenize de olanak sağlar. Bkz. ek sınırlayıcı ilke alanları.

İlkeleri sınırlama seçenekleriniz şunlardır:

• İzin Verilenler Listesi ilkesi
• Engelleme Listesi Politikası
• Regex ilkesi
• Aralık politikası
• sınırsız ilke

Sabit ilke

Sabit ilkeler özniteliği belirtilen değerle sınırlar. Sayısal ve boole dışındaki öznitelik değerleri için değerin bir dizeyle temsil edilmesi veya dönüştürülebilir olması gerekir.

Sabit ilkelerle, hidden alanını trueolarak ayarlayarak özniteliği kullanıcı arabiriminden gizleyebilirsiniz.

interface FixedPolicy {
    type: "fixed";
    value: string | number | boolean;
    hidden?: boolean;
}

Bu örnek ilke Databricks Runtime sürümünü düzeltir ve alanı kullanıcının kullanıcı arabiriminden gizler:

{
  "spark_version": { "type": "fixed", "value": "auto:latest-lts", "hidden": true }
}

Yasak ilkesi

Yasak ilke, kullanıcıların bir özniteliği yapılandırmasını engeller. Yasak ilkeler yalnızca isteğe bağlı özniteliklerle uyumludur.

interface ForbiddenPolicy {
    type: "forbidden";
}

Bu ilke, işçi düğümleri için hesaplama kaynaklarına havuz eklemeyi yasaklar. İlkeyi driver_instance_pool_id devraldığından, sürücü düğümü için havuzlar da yasaktır.

{
  "instance_pool_id": { "type": "forbidden" }
}

İzin Verilenler Listesi ilkesi

İzin verilenler listesi ilkesi, bir özniteliği yapılandırırken kullanıcının aralarından seçim yapabileceğiniz değerlerin listesini belirtir.

interface AllowlistPolicy {
  type: "allowlist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu izin verilenler listesi örneği, kullanıcının iki Databricks Runtime sürümü arasında seçim yapmasını sağlar:

{
  "spark_version": { "type": "allowlist", "values": ["13.3.x-scala2.12", "12.2.x-scala2.12"] }
}

Yasaklı Liste ilkesi

Engelleyici listesi ilkesi, izin verilmeyen değerleri listeler. Değerlerin tam eşleşmeler olması gerektiğinden, öznitelik değerin temsili konusunda daha yumuşak olduğunda (örneğin, baştaki ve sondaki boşluklara izin verme) bu ilke beklendiği gibi çalışmayabilir.

interface BlocklistPolicy {
  type: "blocklist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek kullanıcının Databricks Runtime olarak 7.3.x-scala2.12 seçmesini engeller.

{
  "spark_version": { "type": "blocklist", "values": ["7.3.x-scala2.12"] }
}

Regex politikası

Bir regex ilkesi, kullanılabilir değerleri regex ile eşleşen değerlerle sınırlar. Güvenlik için, regex'inizin metin dizisinin başına ve sonuna bağlı olduğundan emin olun.

interface RegexPolicy {
  type: "regex";
  pattern: string;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, bir kullanıcının seçebileceği Databricks Runtime sürümlerini sınırlar:

{
  "spark_version": { "type": "regex", "pattern": "13\\.[3456].*" }
}

Aralık politikası

Aralık ilkesi, minValue ve maxValue alanlarını kullanarak değeri belirtilen aralıkla sınırlar. Değer ondalık bir sayı olmalıdır. Sayısal sınırlar çift kayan nokta değeri olarak gösterilebilir olmalıdır. Belirli bir sınırın eksik olduğunu belirtmek için minValue veya maxValueatlayabilirsiniz.

interface RangePolicy {
  type: "range";
  minValue?: number;
  maxValue?: number;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, en fazla çalışan miktarını 10 ile sınırlar:

{
  "num_workers": { "type": "range", "maxValue": 10 }
}

sınırsız ilke

Sınırsız ilke, öznitelikleri gerekli hale getirmek veya kullanıcı arabiriminde varsayılan değeri ayarlamak için kullanılır.

interface UnlimitedPolicy {
  type: "unlimited";
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Bu örnek, COST_BUCKET etiketini hesaplamaya ekler:

{
  "custom_tags.COST_BUCKET": { "type": "unlimited" }
}

Spark yapılandırma değişkeni için varsayılan bir değer ayarlamak ve aynı zamanda bu değişkenin atlanmasına (kaldırılmasına) izin vermek için:

{
  "spark_conf.spark.my.conf": { "type": "unlimited", "isOptional": true, "defaultValue": "my_value" }
}

Ek sınırlama ilkesi alanları

İlke türlerini sınırlamak için iki ek alan belirtebilirsiniz:

• defaultValue - hesaplama işlemi oluşturma kullanıcı arabiriminde otomatik olarak doldurulan değer.
• isOptional - Öznitelik üzerindeki sınırlama ilkesi bunu otomatik olarak gerekli kılar. Özniteliği isteğe bağlı hale getirmek için isOptional alanını trueolarak ayarlayın.

Bu örnek ilke, çalışan düğümleri için havuza varsayılan değer olarak id1'ı belirtir, ancak bunu isteğe bağlı hale getirir. Hesaplama oluştururken farklı bir havuz seçebilir veya havuz kullanmamayı tercih edebilirsiniz. İlkede veya işlem oluşturulurken driver_instance_pool_id tanımlanmamışsa, çalışan düğümleri ve sürücü düğümü için aynı havuz kullanılır.

{
  "instance_pool_id": { "type": "unlimited", "isOptional": true, "defaultValue": "id1" }
}

dizi öznitelikleri için yazma ilkeleri

Dizi öznitelikleri için ilkeleri iki şekilde belirtebilirsiniz:

• Tüm dizi öğeleri için genel sınırlamalar. Bu sınırlamalar, ilke yolundaki * joker karakter simgesini kullanır.
• Belirli bir indisteki bir dizi elemanı için belirli kısıtlamalar. Bu sınırlamalar, yol içinde bir sayı kullanır.

Örneğin, init_scriptsdizi özniteliği için, genel yollar init_scripts.* ile başlar ve init_scripts.<n>ile belirli yollar başlar; burada <n> dizideki bir tamsayı dizinidir (0 ile başlar). Genel sınırlamaları ve belirli sınırlamaları birleştirebilirsiniz; bu durumda, genel sınırlama belirli bir sınırlaması olmayan her dizi öğesi için geçerlidir. Her durumda yalnızca bir ilke sınırlaması uygulanır.

Aşağıdaki bölümlerde dizi özniteliklerini kullanan yaygın örneklerin örnekleri gösterilmektedir.

Eklemeye özgü girdiler gerektir

Sırayı belirtmeden belirli değerlere ihtiyacınız olamaz. Örneğin:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-2>"
  }
}

Listenin tamamında sabit bir değer iste

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Kullanımdan tamamen izin verme

{
  "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Belirli bir kısıtlamayı izleyen girişlere izin ver

{
  "init_scripts.*.volumes.destination": {
    "type": "regex",
    "pattern": ".*<required-content>.*"
  }
}

Belirli bir başlatma betikleri kümesini düzeltme

init_scripts yol olması durumunda dizi, kullanım örneğine bağlı olarak tüm olası değişkenlerin işlenmesi gerekebilecek birden çok yapıdan birini içerebilir. Örneğin, belirli bir başlatma betikleri kümesi gerektirmek ve diğer sürümün herhangi bir varyantına izin vermemek için aşağıdaki deseni kullanabilirsiniz:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.*.workspace.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.abfss.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.file.destination": {
    "type": "forbidden"
  }
}

İlke örnekleri

Bu bölüm, kendi ilkelerinizi oluşturmak için başvuru olarak kullanabileceğiniz ilke örneklerini içerir. Azure Databricks tarafından sağlanan ilke ailelerini de yaygın ilke kullanım örnekleri için şablon olarak kullanabilirsiniz.

• Genel işlem ilkesi
• DLT işlem hattı hesaplama sınırlarını tanımlama
• Basit orta ölçekli ilke
• sadece iş politikası
• Dış meta veri deposu ilkesi
• Hesaplama kaynağının görevlerle kullanılmasını önleme
• Otomatik ölçeklendirme ilkesini kaldırma
• Özel etiket zorunlu kılma

Genel işlem ilkesi

Kullanıcılara yol göstermeyi ve bazı işlevleri kısıtlamayı, etiketlere ihtiyaç duymayı, örnek sayısı üst sınırını kısıtlamayı ve zaman aşımını zorlamayı amaçlayan genel amaçlı bir işlem ilkesi.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_version": {
    "type": "regex",
    "pattern": "12\\.[0-9]+\\.x-scala.*"
  },
  "node_type_id": {
    "type": "allowlist",
    "values": ["Standard_L4s", "Standard_L8s", "Standard_L16s"],
    "defaultValue": "Standard_L16s_v2"
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L16s_v2",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 25,
    "defaultValue": 5
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

DLT işlem hattı işlemlerinde sınırları tanımlama

Boru hattı hesaplaması için bir ilke yapılandırmak üzere, cluster_type alanı dlt olarak ayarlanmış bir ilke oluşturun. Aşağıdaki örnek, DLT işlem için en düşük ilkeyi oluşturur:

{
  "cluster_type": {
    "type": "fixed",
    "value": "dlt"
  },
  "num_workers": {
    "type": "unlimited",
    "defaultValue": 3,
    "isOptional": true
  },
  "node_type_id": {
    "type": "unlimited",
    "isOptional": true
  },
  "spark_version": {
    "type": "unlimited",
    "hidden": true
  }
}

Basit orta ölçekli ilke

Kullanıcıların minimum yapılandırmayla orta ölçekli bir işlem oluşturmasına olanak tanır. Oluşturma zamanında gereken tek alan işlem adıdır; gerisi sabittir ve gizlenir.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "forbidden",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "fixed",
    "value": 10,
    "hidden": true
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 60,
    "hidden": true
  },
  "node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "auto:latest-ml",
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Yalnızca iş ilkesi

Kullanıcıların işleri çalıştırmak için hesaplama görevleri oluşturmasına olanak tanır. Kullanıcılar bu ilkeyi kullanarak tüm amaçlı işlem oluşturamaz.

{
  "cluster_type": {
    "type": "fixed",
    "value": "job"
  },
  "dbus_per_hour": {
    "type": "range",
    "maxValue": 100
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "num_workers": {
    "type": "range",
    "minValue": 1
  },
  "node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "driver_node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "spark_version": {
    "type": "unlimited",
    "defaultValue": "auto:latest-lts"
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Dış meta veri deposu ilkesi

Kullanıcıların zaten ekli yönetici tanımlı bir meta veri deposuyla işlem oluşturmasına olanak tanır. Bu, kullanıcıların ek yapılandırma gerektirmeden kendi işlemlerini oluşturmasına olanak sağlamak için kullanışlıdır.

{
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionURL": {
    "type": "fixed",
    "value": "jdbc:sqlserver://<jdbc-url>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionDriverName": {
    "type": "fixed",
    "value": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  },
  "spark_conf.spark.databricks.delta.preview.enabled": {
    "type": "fixed",
    "value": "true"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionUserName": {
    "type": "fixed",
    "value": "<metastore-user>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionPassword": {
    "type": "fixed",
    "value": "<metastore-password>"
  }
}

Hesaplamanın işlerle kullanılmasını engelleme

Bu ilke, kullanıcıların görevleri çalıştırmak için bilgisayar sistemini kullanmasını engeller. Kullanıcılar yalnızca not defterleriyle hesaplama yapabilecek.

{
  "workload_type.clients.notebooks": {
    "type": "fixed",
    "value": true
  },
  "workload_type.clients.jobs": {
    "type": "fixed",
    "value": false
  }
}

Otomatik ölçeklendirme ilkesini kaldırma

Bu ilke otomatik ölçeklendirmeyi devre dışı bırakır ve kullanıcının belirli bir aralıktaki çalışan sayısını ayarlamasına olanak tanır.

{
  "num_workers": {
    "type": "range",
    "maxValue": 25,
    "minValue": 1,
    "defaultValue": 5
  }
}

Özel Etiket Zorlama

İlkeye işlem etiketi kuralı eklemek için custom_tags.<tag-name> özniteliğini kullanın.

Örneğin, bu politikayı kullanan herhangi bir kullanıcının işlemi başlatmak için COST_CENTER etiketini 9999, 9921 veya 9531 ile doldurması gerekir.

{ "custom_tags.COST_CENTER": { "type": "allowlist", "values": ["9999", "9921", "9531"] } }