Teradata üzerinde federasyon sorguları çalıştırma
Önemli
Bu özellik Genel Önizlemesürümündedir.
Bu makalede, Azure Databricks tarafından yönetilmeyen Teradata verilerinde federasyon sorguları çalıştırmak için Lakehouse Federasyonu'nun nasıl ayarlanacağı açıklanır. Lakehouse Federasyonu hakkında daha fazla bilgi edinmek için bkz. Lakehouse Federasyonu nedir?.
Lakehouse Federation kullanarak Teradata veritabanınıza bağlanmak için Azure Databricks Unity Kataloğu meta veri deponuzda aşağıdakileri oluşturmanız gerekir:
- Teradata veritabanınıza bir bağlantısı.
- Unity Kataloğu'ndaki Teradata veritabanınızı yansıtan bir harici katalog, böylece Unity Kataloğu sorgu söz dizimini ve veri yönetim araçlarını kullanarak Azure Databricks kullanıcı erişimini veritabanı üzerinde yönetebilirsiniz.
Başlamadan önce
Başlamadan önce bu bölümdeki gereksinimleri karşıladığınızdan emin olun.
Databricks gereksinimleri
Çalışma alanı gereksinimleri:
- Unity Kataloğu için etkinleştirilen çalışma alanı.
İşlem gereksinimleri:
- İşlem kaynağınızdan hedef veritabanı sistemlerine ağ bağlantısı. Bkz. Lakehouse Federationiçin
Ağ önerileri. - Azure Databricks işlem, Databricks Runtime 16.1 veya üzerini ve Paylaşılan veya Tek Kullanıcı erişim modunu kullanmalıdır.
- SQL ambarları profesyonel veya sunucusuz olmalı ve 2024.50 veya üzerini kullanmalıdır.
Gerekli izinler:
- Bağlantı oluşturmak için meta veri deposu yöneticisi veya çalışma alanına bağlı Unity Kataloğu meta veri deposunda
CREATE CONNECTION
ayrıcalığına sahip bir kullanıcı olmanız gerekir. - Yabancı katalog oluşturmak için meta veri deposunda
CREATE CATALOG
iznine sahip olmanız ve bağlantının sahibi olmanız veya bağlantıdaCREATE FOREIGN CATALOG
ayrıcalığına sahip olmanız gerekir.
Aşağıdaki her görev tabanlı bölümde ek izin gereksinimleri belirtilir.
Teradata gereksinimleri
- TLS, konak sunucusunda etkinleştirildi. Varsayılan olarak,
SSLMODE
REQUIRE
olarak kabul edilir. Daha fazla bilgi için Teradata belgelerindeki TLS kullanarak Bağlantıların Güvenliğini Sağlamabakın.
Azure Databricks bağlantısı oluşturma
Bağlantı, bir dış veritabanı sistemine erişmek için bir yol ve kimlik bilgileri belirtir. Bağlantı oluşturmak için, Bir Azure Databricks not defterinde veya Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni veya CREATE CONNECTION
SQL komutunu kullanabilirsiniz.
Not
Bağlantı oluşturmak için Databricks REST API'sini veya Databricks CLI'yi de kullanabilirsiniz. bkz. POST /api/2.1/unity-catalog/connections ve Unity Catalog komutları.
.
Katalog Gezgini
Azure Databricks çalışma alanınızda,
tıklayın.
Kataloğu bölmesinin üst kısmında Ekle veya artı simgesine tıklayınekle simgesine tıklayın ve menüden Bağlantı ekle seçin. Alternatif olarak,
Hızlı erişim sayfasında Dış veridüğmesine tıklayın, Bağlantılar sekmesine gidin veBağlantı oluştur öğesine tıklayın.Bağlantı temel bilgileri sayfasında, Bağlantı ayarlama sihirbazını açın ve kullanıcı dostu bir Bağlantı adıgirin.
Teradataiçin Bağlantı türü seçin.
(İsteğe bağlı) Açıklama ekleyin.
İleri öğesine tıklayın.
Kimlik Doğrulaması sayfasında, Teradata örneği için aşağıdaki bağlantı özelliklerini girin:
-
Konak: Örneğin,
teradata-demo.teradata.com
-
Bağlantı Noktası: Örneğin,
1025
-
Kullanıcı: Örneğin,
teradata_user
- parola
: Örneğin,
-
Konak: Örneğin,
Bağlantıoluştur'a tıklayın.
Katalog Temel Bilgileri sayfasında, yabancı katalog için bir ad girin. Dış katalog, Azure Databricks ve Unity Kataloğu'nu kullanarak bu veritabanındaki verileri sorgulayıp yönetebilmeniz için dış veri sistemindeki bir veritabanını yansıtır.
(İsteğe bağlı) Bağlantı test et'e tıklayarak çalıştığını onaylayın.
Tıklayın katalog oluştur.
Access sayfasında, kullanıcıların oluşturduğunuz kataloğa erişebileceği çalışma alanlarını seçin. Tüm çalışma alanlarınınerişimi
seçebilir veyaçalışma alanlarına ata'ya tıklayabilir, çalışma alanlarını seçip ata'ya tıklayabilirsiniz. Katalogdaki tüm nesnelere erişimi yönetebilme yetkisine sahip olacak Sahibinin değiştirilmesi. Metin kutusuna bir sorumlu yazmaya başlayın ve döndürülen sonuçlarda sorumluya tıklayın.
Katalogda Ayrıcalıkları ver. Ver'e tıklayın:
- Katalogdaki nesnelere erişimi olacak
Sorumlularını belirtin. Metin kutusuna bir sorumlu yazmaya başlayın ve döndürülen sonuçlarda sorumluya tıklayın. - Her yetkiliye verilecek Privilege hazır ayarlarını seçin. Tüm hesap kullanıcılarına varsayılan olarak
BROWSE
verilir.- Katalogdaki nesnelerde
ayrıcalıkları vermek için açılan menüden veri okuyucu seçin. - Katalogdaki nesnelerde ve
read
ayrıcalıkları vermek için açılan menüdenmodify
seçin. - Vermek istediğiniz ayrıcalıkları el ile seçin.
- Katalogdaki nesnelerde
- Grant'e tıklayın.
- Katalogdaki nesnelere erişimi olacak
İleri öğesine tıklayın.
Meta Veri sayfasında, anahtar-değer çiftlerini etiket olarak belirtin. Daha fazla bilgi için bkz: Unity Catalog güvenli nesnelere etiket uygulama.
(İsteğe bağlı) Açıklama ekleyin.
Kaydet'e tıklayın.
SQL
Not defterinde veya Databricks SQL sorgu düzenleyicisinde aşağıdaki komutu çalıştırın:
CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
host '<hostname>',
port '<port>',
user '<user>',
password '<password>'
);
Databricks, kimlik bilgileri gibi hassas değerler için düz metin dizeleri yerine Azure Databricks gizli dizileri kullanmanızı önerir. Örneğin:
CREATE CONNECTION <connection-name> TYPE teradata
OPTIONS (
host '<hostname>',
port '<port>',
user secret ('<secret-scope>','<secret-key-user>'),
password secret ('<secret-scope>','<secret-key-password>')
)
Not defteri SQL komutlarında düz metin dizeleri kullanmanız gerekiyorsa, $
ile \
gibi özel karakterlerden kaçarak dizeyi kesmekten kaçının. Örneğin: \$
.
Gizli bilgileri ayarlama hakkında bilgi için bkz. Gizli yönetimi.
Yabancı katalog oluşturma
Not
Kullanıcı arabirimini veri kaynağına bağlantı oluşturmak için kullanırsanız, yabancı katalog oluşturma dahil edilir ve bu adımı atlayabilirsiniz.
Dış katalog, Azure Databricks ve Unity Kataloğu'nu kullanarak bu veritabanındaki verileri sorgulayıp yönetebilmeniz için dış veri sistemindeki bir veritabanını yansıtır. Yabancı katalog oluşturmak için, önceden tanımlanmış olan veri kaynağına bir bağlantı kullanırsınız.
Yabancı katalog oluşturmak için, Bir Azure Databricks not defterinde veya SQL sorgu düzenleyicisinde Katalog Gezgini'ni veya CREATE FOREIGN CATALOG
SQL komutunu kullanabilirsiniz.
Katalog oluşturmak için Databricks REST API'sini veya Databricks CLI'yi de kullanabilirsiniz. Bkz: POST /api/2.1/unity-catalog/catalogs ve Unity Catalog komutları.
Gerekli izinler: Meta veri deposundaCREATE CATALOG
izni ve bağlantının sahipliği veya bağlantıdaki CREATE FOREIGN CATALOG
ayrıcalığı.
Katalog Gezgini
Azure Databricks çalışma alanınızda, Katalog Gezgini'ni açmak için
Katalog.
Kataloğu bölmesinin üst kısmında Ekle veya artısimgesine tıklayın ekle simgesine tıklayın ve menüden Katalog ekle seçin. Alternatif olarak,
Hızlı erişim sayfasında Kataloglardüğmesine tıklayın ve ardından Katalog oluştur düğmesine tıklayın. katalog oluşturma bölümünde yabancı katalog oluşturma yönergelerini izleyin.
SQL
Aşağıdaki SQL komutunu bir not defterinde veya SQL sorgu düzenleyicisinde çalıştırın. Köşeli ayraç içindeki öğeler opsiyoneldir. Yer tutucu değerlerini değiştirin:
-
<catalog-name>
: Azure Databricks'teki kataloğun adı. -
<connection-name>
: Veri kaynağını, yolu ve erişim kimlik bilgilerini belirten bağlantı nesnesi. -
<database-name>
: Azure Databricks'te katalog olarak yansıtmak istediğiniz veritabanının adı.
CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');
Desteklenen baskılama işlemleri
Aşağıdaki devre dışı bırakmalar desteklenir:
- Filtreler
- Projeksiyon
- Sınır
- Agregalar
- Oyuncu kadrosu
- İçerir, Başlar, Biter, Benzer
Veri türü eşlemeleri
Teradata'dan Spark'a okuma yaptığınızda veri türleri aşağıdaki gibi eşlenir:
Teradata türü | Spark türü |
---|---|
Bayt, Blob | BinaryType |
Byteint, Smallint, Integer | TamsayıTürü |
BigInt | UzunTip |
Float, Çift, Çift Hassasiyet | DoubleType |
Sayı(n, m) | Ondalık Türü |
Sayı(, m), Sayı(), Sayı | Desteklenmeyen |
Varchar(N) | DizeTipi |
Zaman, Zaman Damgası | Zaman Damgası Türü |