DLT işlem hatlarını eski Hive meta veri deposuyla kullanma
Bu makalede, verileri eski Hive meta veri deposuna yayımlamak üzere yapılandırılmış DLT işlem hatlarına özgü yapılandırmalar ve uyarılar ayrıntılı olarak açıklanmıştır. Databricks, tüm yeni işlem hatları için Unity Kataloğu'nu kullanmanızı önerir. Bkz: DLT işlem hatlarınızla Unity Kataloğu'nu kullanma.
Not
Bu makalede, işlem hatları için geçerli varsayılan yayımlama modunun işlevselliği açıklanır. 5 Şubat 2025'den önce oluşturulan işlem hatları, eski yayımlama modunu ve LIVE sanal şemayı kullanabilir. Bkz. LIVE şeması (eski).
Eski Hive meta veri deposunda akış tabloları ve oluşturulmuş görünümleri sorgulama
Güncelleştirme tamamlandıktan sonra şemayı ve tabloları görüntüleyebilir, verileri sorgulayabilir veya aşağı akış uygulamalarında kullanabilirsiniz.
Yayımlandıktan sonra, DLT tabloları hedef şemaya erişimi olan herhangi bir ortamdan sorgulanabilir. Buna Databricks SQL, not defterleri ve diğer DLT işlem hatları dahildir.
Önemli
target yapılandırması oluşturduğunuzda, yalnızca tablolar ve ilişkili meta veriler yayımlanır. Görünümler meta veri deposunda yayımlanmaz.
Hive meta veri deposuna yayımlamak için işlem hattı yapılandırma
Yeni bir işlem hattı oluştururken, eski Hive meta veri deposunda yayımlamak Depolama seçenekleri altında hive meta veri deposu belirtebilirsiniz. Hive meta veri deposuna yayımlarken varsayılan bir hedef şema belirtmeniz gerekir. Bkz. DLT işlem hattını yapılandırın.
Depolama konumu belirtme
Hive meta veri deposunda yayımlayan bir işlem hattı için depolama konumu belirtebilirsiniz. Konum belirtmek için birincil motivasyon, işlem hattınız tarafından yazılan verilerin nesne depolama konumunu denetlemektir. Databricks, DBFS köküne yazılmasını önlemek için her zaman bir depolama konumunun özel olmasını önerir.
DLT işlem hatları için tüm tablolar, veriler, denetim noktaları ve meta veriler DLT tarafından tam olarak yönetildiğinden, DLT veri kümeleriyle etkileşimin çoğu Hive meta veri deposuna veya Unity Kataloğu'na kayıtlı tablolar aracılığıyla gerçekleşir.
bulut depolama yapılandırması
Azure depolamaerişmek için, küme yapılandırmalarınızdaki spark.conf ayarlarını kullanarak erişim belirteçleri de dahil olmak üzere gerekli parametreleri yapılandırmanız gerekir. Azure Data Lake Storage 2. Nesil (ADLS Gen2) depolama hesabına erişimi yapılandırma örneği için bkz. Bir pipeline içinde gizli bilgilerle depolama kimlik bilgilerine güvenli bir şekilde erişme.
Hive meta veri deposu işlem hatları için olay günlüğüyle çalışma
İşlem hattınız , tabloları Hive meta veri deposu'e yayımlıyorsa, olay günlüğü /system/events altında storage konumunda depolanır. Örneğin, işlem hattı storage ayarınızı /Users/username/dataolarak yapılandırdıysanız, olay günlüğü DBFS'deki /Users/username/data/system/events yolunda depolanır.
storage ayarını yapılandırmadıysanız, varsayılan olay günlüğü konumu DBFS'de /pipelines/<pipeline-id>/system/events. Örneğin, işlem hattınızın kimliği 91de5e48-35ed-11ec-8d3d-0242ac130003ise depolama konumu /pipelines/91de5e48-35ed-11ec-8d3d-0242ac130003/system/events.
Olay günlüğünü sorgulamayı basitleştirmek için bir görünüm oluşturabilirsiniz. Aşağıdaki örnek, event_log_rawadlı geçici bir görünüm oluşturur. Bu görünüm, bu makalede yer alan örnek olay günlüğü sorgularında kullanılır:
CREATE OR REPLACE TEMP VIEW event_log_raw
AS SELECT * FROM delta.`<event-log-path>`;
<event-log-path> yerine olay günlüğü konumunu yazın.
İşlem hattı çalıştırmasının her örneğine güncelleştirmeadı verilir. Genellikle en son güncelleştirmeye ilişkin bilgileri ayıklamak istersiniz. En son güncelleştirmenin tanımlayıcısını bulmak ve geçici latest_update_id görünüme kaydetmek için aşağıdaki sorguyu çalıştırın. Bu görünüm, bu makalede yer alan örnek olay günlüğü sorgularında kullanılır:
CREATE OR REPLACE TEMP VIEW latest_update AS
SELECT origin.update_id AS id
FROM event_log_raw
WHERE event_type = 'create_update'
ORDER BY timestamp DESC
LIMIT 1;
Azure Databricks not defterinde veya SQL düzenleyicisiolay günlüğünü sorgulayabilirsiniz. Örnek olay günlüğü sorgularını çalıştırmak için bir not defteri veya SQL düzenleyicisi kullanın.
Unity Kataloğu olmayan çalışma alanları için örnek işlem hattı kaynak kodu not defterleri
Unity Kataloğu etkinleştirilmeden aşağıdaki not defterlerini bir Azure Databricks çalışma alanına aktarabilir ve bunları kullanarak bir DLT işlem hattı dağıtabilirsiniz. Hive meta veri deposu depolama seçeneğiyle bir işlem hattı yapılandırırken, seçtiğiniz dildeki not defterini içeri aktarın ve kaynak kodu alanında yolu belirtin. Bakınız DLT işlem hattını yapılandırma.
DLT Python not defterini kullanmaya başlama
not defteri alma