DLT nitelikleri referansı
Bu makale, Azure Databricks'teki DLT JSON ayarı belirtimi ve tablo özellikleri için bir başvuru sağlar. Bu çeşitli özellikleri ve yapılandırmaları kullanma hakkında daha fazla ayrıntı için aşağıdaki makalelere bakın:
DLT işlem hattı yapılandırmaları
Alanları |
---|
id Tür: string Bu boru hattı için küresel olarak benzersiz bir tanımlayıcı. Tanımlayıcı sistem tarafından atanır ve değiştirilemez. |
name Tür: string Bu işlem hattı için kullanıcı dostu bir ad. Ad, kullanıcı arabirimindeki işlem hattı işlerini tanımlamak için kullanılabilir. |
configuration Tür: object İşlem hattını çalıştıracak kümenin Spark yapılandırmasına eklenecek isteğe bağlı ayarlar listesi. Bu ayarlar DLT çalışma zamanı tarafından okunur ve Spark yapılandırması üzerinden boru hattı sorgularına sunulur. Öğeler key:value çiftleri olarak biçimlendirilmelidir. |
libraries Tür: array of objects İşlem hattı kodunu ve gerekli nesneleri içeren birden fazla not defteri dizisi. |
clusters Tür: array of objects Kümelerin işlem hattını çalıştırması için bir özellikler dizisi. Bu belirtilmezse, işlem hatları işlem hattı için otomatik olarak bir varsayılan küme yapılandırması seçer. |
development Tür: boolean İşlem hattının içinde çalıştırılıp çalıştırılmayacağını gösteren bayrak development veya production modu.Varsayılan değer true |
notifications Tür: array of objects Bir işlem hattı güncellemesi tamamlandığında, yeniden denenebilir bir hatayla başarısız olduğunda, yeniden denenemeyen bir hatayla başarısız olduğunda veya bir akış başarısız olduğunda gönderilecek e-posta bildirimleri için isteğe bağlı bir özellikler dizisi. |
continuous Tür: boolean İşlem hattının sürekli çalıştırılıp çalıştırılmayacağını gösteren bir bayrak. Varsayılan değer false . |
catalog Tür: string İşlem hattı için tüm veri kümelerinin ve meta verilerin yayımlandığı işlem hattı için varsayılan kataloğun adı. Bu değerin ayarlanması işlem hattı için Unity Kataloğu'nu etkinleştirir. Ayarlanmamışsa, işlem hattı storage 'da belirtilen konumu kullanarak eski Hive meta veri deposuna yayımlar.Eski yayımlama modunda, geçerli işlem hattındaki tüm veri kümelerinin yayımlandığı hedef şemayı içeren kataloğu belirtir. Bkz. LIVE şeması (eski). |
schema Tür: string İşlem hattı için tüm veri kümelerinin ve meta verilerin varsayılan olarak yayımlandığı işlem hattı için varsayılan şemanın adı. Bkz. Hedef kataloğu ve şemayı ayarla. |
target (eski)Tür: string Geçerli işlem hattında tanımlanan tüm veri kümelerinin yayımlandığı hedef şemanın adı. target yerine schema ayarlandığında işlem hattı eski yayımlama modunu kullanacak şekilde yapılandırılır. Bkz. LIVE şeması (eski). |
storage (eski)Tür: string DBFS veya bulut depolamada işlem hattı yürütmesi için gereken çıktı verilerinin ve meta verilerin depolandığı bir konum. Tablolar ve meta veriler bu konumun alt dizinlerinde depolanır. storage ayarı belirtilmediğinde, sistem varsayılan olarak dbfs:/pipelines/ konumunda bir konuma ayarlanır.Bir işlem hattı oluşturulduktan sonra storage ayarı değiştirilemez. |
channel Tür: string Kullanılacak DLT çalışma zamanının sürümü. Desteklenen değerler şunlardır:
channel alanı isteğe bağlıdır. Varsayılan değer şudur:current . Databricks, üretim iş yükleri için geçerli çalışma zamanı sürümünün kullanılmasını önerir. |
edition Yaz string İşlem hattını çalıştırmak için DLT ürün sürümü. Bu ayar, işlem hattınızın gereksinimlerine göre en iyi ürün sürümünü seçmenize olanak tanır:
edition alanı isteğe bağlıdır. Varsayılan değer şudur:ADVANCED . |
photon Tür: boolean Kullanılıp kullanılmayacağını gösteren bayrak Photon nedir? İşlem hattını çalıştırmak için. Photon, Azure Databricks yüksek performanslı Spark altyapısıdır. Foton özellikli işlem hatları, Photon olmayan işlem hatlarından farklı bir ücretle faturalandırılır. photon alanı isteğe bağlıdır. Varsayılan değer false . |
pipelines.maxFlowRetryAttempts Tür: int İşlem hattı güncelleştirmesi sırasında yeniden denenebilir bir hata oluşursa, işlem hattı güncelleştirmesi başarısız olmadan önce bir akışı yeniden denemenin en fazla sayısıdır Varsayılan: İki yeniden deneme denemesi. Yeniden denenebilir bir hata oluştuğunda, DLT çalışma zamanı sistemi, ilk deneme dahil olmak üzere işlemi üç kez çalıştırmayı dener. |
pipelines.numUpdateRetryAttempts Tür: int Güncelleştirme sırasında yeniden denenebilir bir hata oluşursa, bu, güncelleştirmeyi kalıcı olarak başarısız olmadan önce yeniden deneme sayısı üst sınırıdır. Yeniden deneme tam güncelleştirme olarak çalıştırılır. Bu parametre yalnızca üretim modunda çalışan işlem hatları için geçerlidir. İşlem hattınız geliştirme modunda çalışırken veya bir Validate güncelleştirmesi çalıştırdığınızda yeniden deneme yapılmaz.Varsayılan:
|
DLT tablo özellikleri
Delta Laketarafından desteklenen tablo özelliklerine ek olarak, aşağıdaki tablo özelliklerini ayarlayabilirsiniz.
Tablo özellikleri |
---|
pipelines.autoOptimize.managed Varsayılan: true Bu tablonun otomatik olarak zamanlanmış iyileştirmesini etkinleştirir veya devre dışı bırakır. |
pipelines.autoOptimize.zOrderCols Varsayılan: Yok Bu tabloyu sıralamak için virgülle ayrılmış sütun adlarının listesini içeren isteğe bağlı bir dize. Örneğin, pipelines.autoOptimize.zOrderCols = "year,month" |
pipelines.reset.allowed Varsayılan: true Bu tablo için tam yenilemeye izin verilip verilmeyeceğini denetler. |
Boru hatlarını tetikleme aralığı
DLT işlem hattının tamamı için veya bir veri kümesi bildiriminin parçası olarak işlem hattı tetikleyici aralığı belirtebilirsiniz. bkz. Sürekli işlem hatları için tetikleyici aralığını ayarlama.
pipelines.trigger.interval |
---|
Varsayılan değer akış türünü temel alır:
Değer, bir sayı ve zaman birimidir. Geçerli zaman birimleri şunlardır:
Değeri tanımlarken tekil veya çoğul birimi kullanabilirsiniz, örneğin:
|
Kullanıcı ayarlanamaz Küme öznitelikleri
DLT, küme yaşam döngülerini yönettiği için, birçok küme ayarı DLT tarafından ayarlanır ve kullanıcılar tarafından işlem hattı yapılandırmasında veya işlem hattı tarafından kullanılan bir küme ilkesinde el ile yapılandırılamaz. Aşağıdaki tabloda bu ayarlar ve bunların neden el ile ayarlanamadığı listelenir.
Alanları |
---|
cluster_name DLT, işlem hattı güncelleştirmelerini çalıştırmak için kullanılan kümelerin adlarını ayarlar. Bu adlar geçersiz kılınamaz. |
data_security_mode access_mode Bu değerler sistem tarafından otomatik olarak ayarlanır. |
spark_version DLT kümeleri, Databricks Runtime'ın en son özellikleri içerecek şekilde sürekli güncelleştirilen özel bir sürümünde çalışır. Spark sürümü Databricks Runtime sürümüyle birlikte gelir ve geçersiz kılınamaz. |
autotermination_minutes DLT küme otomatik sonlandırma ve yeniden kullanım mantığını yönettiğinden, küme otomatik sonlandırma süresi geçersiz kılınamaz. |
runtime_engine İşlem hattınız için Photon'ı etkinleştirerek bu alanı denetleyebilirsiniz ancak bu değeri doğrudan ayarlayamazsınız. |
effective_spark_version Bu değer sistem tarafından otomatik olarak ayarlanır. |
cluster_source Bu alan sistem tarafından ayarlanır ve salt okunurdur. |
docker_image DLT küme yaşam döngüsünü yönettiğinden, işlem hattı kümeleriyle özel bir kapsayıcı kullanamazsınız. |
workload_type Bu değer sistem tarafından ayarlanır ve geçersiz kılınamaz. |