catalogs oluşturma
Bu makalede Unity Catalog'de catalogs oluşturma gösterilmektedir.
catalogshakkında daha fazla bilgi edinmek için bkz. Azure Databricks'te catalogs nedir?.
Not
Unity Catalog nesnesi olarak, dış veri sistemindeki bir veritabanını yansıtan yabancı catalogoluşturmayı öğrenmek için bkz: Yabancı catalogoluştur. Ayrıca bkz. Yabancı catalogsyönetme ve bunlarla çalışma.
Gereksinimler
catalog türünden bağımsız olarak catalogoluşturmak için:
- Azure Databricks meta veri deposu yöneticisi olmanız veya meta veri deposunda ayrıcalığınız olması
CREATE CATALOG
gerekir. - catalog oluşturulması için bir not defteri çalıştırmak amacıyla kullandığınız işlem kaynağı, Databricks Runtime 11.3 veya üstü olmalı ve Unity Cataloguyumlu bir erişim modu kullanmalıdır. Bkz. Erişim modları. SQL ambarları her zaman Unity Catalog'ı destekler.
paylaşılan catalogoluşturmak için:
- Delta Sharing paylaşımı çalışma alanınızda zaten mevcut olmalıdır. Bkz. Nasıl yaparım? paylaşılan verileri ekibimin kullanımına sunsun mu?.
- Meta veri deposu yöneticisi olmanız,
USE PROVIDER
meta veri deposunda ayrıcalığınız olması veya paylaşımı içeren sağlayıcı nesnesine sahip olmanız gerekir.
standardı catalogoluşturmak için:
-
catalogiçin yönetilen bir depolama konumu belirtirseniz, hedef dış konumda
CREATE MANAGED STORAGE
ayrıcalığına sahip olmanız gerekir. - Meta veri deposu düzeyinde yönetilen depolama yoksa catalogiçin bir yönetilen depolama konumu belirtmeniz gerekir.
yabancı catalogoluşturmak için:
- Yabancı catalog oluşturmak için kullandığınız bağlantının sahibi olmanız veya bağlantıda
CREATE FOREIGN CATALOG
ayrıcalığına sahip olmanız gerekir. - Databricks Runtime 13.1 veya üzerinde işlem kullanmanız gerekir. SQL ambarları Pro veya Sunucusuz olmalıdır.
catalog oluşturun
catalogoluşturmak için Catalog Gezgini, SQL komutu, REST API, Databricks CLI veya Terraform kullanabilirsiniz. bir catalogoluşturduğunuzda otomatik olarak iki şema (veritabanları) oluşturulur: default
ve information_schema
.
Catalog Gezgini
Meta veri deposuna bağlı bir çalışma alanında oturum açın.
simgesine tıklayın. Catalog oluştur düğmesine tıklayın.
Yeni
oluştur bir adı girin ve oluşturmak istediğiniz Tür : - Standartcatalog: Unity Catalogtarafından yönetilen verileri ve yapay zeka varlıklarını düzenleyen güvenli hale getirilebilir bir nesne. Lakehouse Federasyonu ve Delta Sharing shares'den oluşturulan catalogs dışındaki tüm kullanım örnekleri için.
- Yabancıcatalog: Lakehouse Federation kullanarak dış veri sistemindeki bir veritabanını yansıtan güvenli hale getirilebilen nesne. Bkz . Lakehouse Federasyonu kurulumuna genel bakış.
- Paylaşılancatalog: sizinle bir Delta Sharing paylaşımı olarak paylaşılan verileri ve diğer varlıkları organize eden güvenli hale getirilebilir bir nesne. Bir paylaşımdan catalog oluşturmak, bu varlıkları çalışma alanınızdaki kullanıcıların okuması için kullanılabilir hale getirir. Bkz. Paylaşım nedir?.
catalog türüne bağlı olarak aşağıdaki seçenekleri belirtin:
Standart için: İsteğe bağlıdır ancakyönetilen birDepolama konumu belirtmeniz kesinlikle önerilir. Yönetilen depolama konumu olarak kullandığınız hedef dış konumda ayrıcalığınız olmalıdır CREATE MANAGED STORAGE
. Bkz. Unity Catalog'de yönetilen bir depolama konumu belirtin.İsteğe bağlı olarak tanımlı bir dış konumun alt yolu belirtebilirsiniz. Tanımlanmış bir dış konumunuz yoksa, Yeni dış konum oluştur'a tıklayarak bir konum oluşturabilirsiniz.
Önemli
Çalışma alanınızın meta veri deposu düzeyinde depolama konumu yoksa,
oluştururken yönetilen depolama konumu belirtmeniz . Yabancı catalogsiçin: Unity Catalog'da dış veritabanı sistemine erişmek için bir yol ve credentials belirten güvenli hale getirilebilir bir nesne olan Bağlantıselect gerekir. Bkz . Lakehouse Federasyonu kurulumuna genel bakış.
Bağlantıyı seçtiğinizde, yansıtmak istediğiniz Veritabanı veya diğer Databricks Catalog adını girin.
Gereksinimler veri kaynağına bağlı olarak farklılık gösterir:
- MySQL iki katmanlı bir ad alanı kullanır ve bu nedenle veritabanı adı gerektirmez.
- Başka bir Databricks çalışma alanında bir connections'dan bir catalog'e geçişte, veritabanı adı yerine Databricks Catalog adını girin.
Tanımlanmış bir bağlantınız yoksa, Yeni bağlantı oluştur'a tıklayarak bir bağlantı oluşturabilirsiniz.
Paylaşılan catalogsiçin: Sağlayıcı ve Paylaşselect gerekir. Sağlayıcıyı seçtikten sonra select sağlayıcının sharesbirini.
Hangi sağlayıcıyı ve paylaşımı istediğinizden emin değilseniz, Catalog Explorer tarayıcısını kullanarak providers ve shares göz atabilir veya arama yapmak daha kolay olabilir. Bkz. Bir sağlayıcının sizinle paylaştığı providers görüntüleme ve Görüntüleme shares.
Oluştur’a tıklayın.
Catalog oluşturuldu! iletişim kutusunda, catalog'yı otomatik olarak yapılandırılmış haliyle kabul etmek için Görünüm catalog'e tıklayın veya (önerilen) catalog izinlerini, çalışma alanı bağlamalarını ve meta verileri yapılandırmak için catalog Yapılandır'a tıklayın.
Görünüm catalog'ye tıklarsanız, meta veri deposuna bağlı tüm çalışma alanlarına catalog erişilir ve
BROWSE
ayrıcalığı tüm hesap kullanıcılarına verilecektir. Bu yordamdaki kalan adımları atlayabilir ve catalog'a şemalar eklemeye devam edebilirsiniz. Bkz . Şema oluşturma.catalog ayrıntıları sayfasına, Catalog Gezgini'nde istediğiniz zaman dönebilir; sahibi, etiketleri, yorumları, çalışma alanı bağlamalarını, izinleri ve şemaları update edebilirsiniz.
Çalışma Alanlarını Yapılandır sayfasında, bağlı olduğu çalışma alanını belirtin. Varsayılan olarak, catalog şu anda meta veri deposuna eklenmiş tüm çalışma alanlarıyla paylaşılır.
belirli çalışma alanlarıyla sınırlı olması gereken veriler içerecekse, Tüm çalışma alanının erişim seçeneğini temizleyin ve bu çalışma alanlarını eklemek için Çalışma alanlarına ata düğmesini kullanın. Geçerli çalışma alanı dahil edilmelidir. Çalışma alanını atadıktan sonra, isteğe bağlı olarak varsayılan Okuma & Yazma erişim düzeyini Salt Okunurolarak değiştirebilirsiniz: select çalışma alanını list seçin ve Erişim Düzeyini Yönet düğmesine tıklayın.
Daha fazla bilgi için bkz.belirli çalışma alanlarına erişim
. catalogiçin İzinleri atamak amacıyla "Sonraki" 'e tıklayın.
Tüm hesap kullanıcıları varsayılan olarak
BROWSE
ayrıcalığına sahiptir ve verilere okuma erişimi having olmadan catalog meta verileri bulma olanağına sahiptir.Bir kullanıcıya, gruba veya hizmet sorumlusuna grant ayrıcalığı vermek için Grant'e tıklayın ve Unity Catalog Ayrıcalıkları ve Güvenliği Sağlanabilir Nesneleryönergelerini izleyin.
İsteğe bağlı etiket ve açıklama Meta Verileri eklemek için İleri'ye tıklayın.
Etiketler, veri varlıklarınızı aramayı ve bulmayı kolaylaştırmak için catalogs düzenlemek ve kategorilere ayırmak için kullanabileceğiniz anahtar-değer çiftleridir. Values isteğe bağlıdır. Bkz. Unity'ye etiket uygulama Catalog güvenli hale getirilebilir nesneler.
Yorum, genellikle kullanıcıların catalog'deki veri varlıklarını keşfetmelerine yardımcı olmak amacıyla bir tanım sağlamak için kullanılan açık uçlu bir alandır. Bkz. Verilere ve yapay zeka varlıklarına açıklama ekleme.
Kaydet'e tıklayın.
catalogşemaları ve veri nesnelerini ekleyin.
Bkz . Şema oluşturma.
catalogoluşturduktan sonra istediğiniz zaman sahip, etiket, açıklama, çalışma alanı bağlamaları ve izinleri update için Catalog Gezgini'ni kullanabilirsiniz.
SQL
Standart bir catalogoluşturmak için, not defterinde veya SQL sorgu düzenleyicisinde aşağıdaki SQL komutunu çalıştırın. Köşeli ayraç içindeki öğeler isteğe bağlıdır. Yer tutucu values'ı değiştirin.
<catalog-name>
: catalogiçin bir ad.<location-path>
: İsteğe bağlı ancak kesinlikle önerilir. Bu catalog'deki yönetilen tables'ın, meta veri deposu için yapılandırılan varsayılan kök depolama alanından farklı bir konumda depolanmasını istiyorsanız, bir depolama konumu yolu belirtin.Önemli
Çalışma alanınızın meta veri deposu düzeyinde depolama konumu yoksa, catalogoluştururken yönetilen depolama konumu belirtmeniz gerekir.
Bu yol bir dış konum yapılandırmasında tanımlanmalıdır ve dış konum yapılandırmasında ayrıcalığınız olmalıdır
CREATE MANAGED STORAGE
. Dış konum yapılandırmasında veya bir alt yolda (başka bir deyişle'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance'
veya'abfss://my-container-name@storage-account-name.dfs.core.windows.net/finance/product'
) tanımlanan yolu kullanabilirsiniz.<comment>
: İsteğe bağlı açıklama veya başka bir açıklama.
CREATE CATALOG [ IF NOT EXISTS ] <catalog-name>
[ MANAGED LOCATION '<location-path>' ]
[ COMMENT <comment> ];
Örneğin, example
adlı bir catalog oluşturmak için:
CREATE CATALOG IF NOT EXISTS example;
Paylaşılan catalogoluşturmak için, not defterinde veya SQL sorgu düzenleyicisinde aşağıdaki komutu çalıştırın. Köşeli ayraç içindeki öğeler isteğe bağlıdır.
CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;
[ COMMENT <comment> ];
Yabancı catalogoluşturmak için, not defterinde veya SQL sorgu düzenleyicisinde aşağıdaki komutu çalıştırın. Köşeli ayraç içindeki öğeler isteğe bağlıdır. Yer tutucu values'ı değiştirin.
-
<catalog-name>
: Azure Databricks'teki catalog adı. -
<connection-name>
: credentialsveri kaynağını, yolu ve erişimi belirten bağlantı nesnesi. -
<database-name>
: Azure Databricks'te catalog olarak yansıtmak istediğiniz veritabanının adı. İki katmanlı ad alanı kullanan MySQL için gerekli değildir. Databricks-Databricks Lakehouse Federasyonu için kullanıncatalog '<external-catalog-name>'
. -
<external-catalog-name>
: Databricks- Databricks bağlantıları için yalnızca: Yansıtmakta olduğunuz dış Databricks çalışma alanındaki catalog adı. Bkz . Başka bir Databricks çalışma alanında federasyon sorguları çalıştırma.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS [(database '<database-name>') | (catalog '<external-catalog-name>')];
Ayrıca bkz. Yabancı catalogoluşturma.
ayrıntılı parametre açıklamaları için bkz. CREATE CATALOG.
catalogoluşturduktan sonra catalogayrıcalıkları atayın. Bkz. Unity Catalog ayrıcalıkları ve güvenliği sağlanabilecek nesneler.
Diğer
Terraform
REST API: POST /api/2.1/unity-catalog/catalogskullanın.
Databricks CLI: databricks catalogs create <catalog-name> [options]
list seçenekleri için databricks catalogs create -h
çalıştırın. Seçenekler, API başvurusunda da açıklanmıştır. Önceki paragraftaki API bağlantısını izleyin.
catalogoluşturduktan sonra catalogiçin izinleri atayın. Bakınız Unity ayrıcalıkları Catalog ve güvenlik altına alınabilir nesneler.
Daha Fazla Bilgi
- Yönet catalogs
- Varsayılan catalog yönetme
- Belirli çalışma alanlarına erişimi Limitcatalog