Aracılığıyla paylaş

Desteklenen bağlantı özellikleri

  • Makale

Bu makalede, Databricks JDBC Sürücüsü (OSS)tarafından desteklenen bağlantı özellikleri açıklanmaktadır.

Kimlik Doğrulama ve Ara Sunucu Özellikleri

Aşağıdaki bağlantı özellikleri, Databricks JDBC Sürücüsü (OSS)tarafından desteklenir. Özellikler büyük/küçük harfe duyarlı değildir.

Mülk Varsayılan değer Açıklama
AsyncExecPollInterval 200 Her bir yoklama arasındaki zaman, milisaniye cinsinden, uyumsuz sorgu yürütme durumu için belirlenmiştir. Asenkron terimi, Spark üzerinde bir sorgu yürütmek için kullanılan RPC çağrısının asenkron olduğunu ifade eder. Bu, JDBC zaman uyumsuz işlemlerinin desteklendiği anlamına gelmez.
Auth_Flow 0 Sürücü bağlantısı için OAuth2 kimlik doğrulama akışı. AuthMech 11ise bu özellik gereklidir.
Auth_JWT_Key_File null JWT kimlik doğrulaması için özel anahtar dosyasının (PEM biçimi) yolu.
Auth_JWT_Alg RS256 Özel anahtar JWT kimlik doğrulaması algoritması. Desteklenen algoritmalar şunlardır: RSA: RS256, RS384, RS512, PS256, PS384, PS512 ve EC: ES256, ES384, ES512
Auth_JWT_Key_Passphrase null Şifrelenmiş bir özel anahtarın şifresini çözmek için kullanılan parola.
Auth_KID null JWT kimlik doğrulaması için gereken Anahtar Tanımlayıcısı (KID). Özel anahtar JWT kullanılırken bu zorunludur.
AuthMech Gerekli Bu kimlik doğrulama mekanizması, 3'ın mekanizmanın bir Azure Databricks kişisel erişim belirteci olduğunu belirttiği ve 11'in mekanizmanın OAuth 2.0 belirteçleri olduğunu belirttiği yerdir. Her mekanizma için ek özellikler gereklidir. Bkz. sürücünün kimliğini doğrulama.
CFProxyAuth 0 1olarak ayarlanırsa, sürücü CFProxyUID ve CFProxyPwdile temsil edilen proxy kimlik doğrulama kullanıcısını ve parolasını kullanır.
CFProxyHost null UseCFProxy de 1olarak ayarlandığında kullanılacak ara sunucu konağı adını temsil eden bir dize.
CFProxyPort null UseCFProxy de 1olarak ayarlandığında kullanılacak ara sunucu bağlantı noktasının sayısını temsil eden bir tamsayı.
CFProxyUID null CFProxyAuth ve UseCFProxy de 1olarak ayarlandığında proxy kimlik doğrulaması için kullanılacak kullanıcı adını temsil eden bir dize.
CFProxyPwd null CFProxyAuth ve UseCFProxy da 1olarak ayarlandığında proxy kimlik doğrulaması için kullanılacak parolayı temsil eden bir dize.
ConnCatalog veya catalog SPARK Kullanılacak varsayılan kataloğun adı.
ConnSchema veya schema default Kullanılacak varsayılan şemanın adı. Bu, URL'deki <schema> kullanılacak şemanın adıyla değiştirilerek veya ConnSchema özelliği kullanılacak şemanın adı olarak ayarlanarak belirtilebilir.
EnableComplexDatatypeSupport 0 1olarak ayarlanırsa, dizeler yerine yerel Java nesneleri olarak karmaşık veri türleri (ARRAY'ler, STRUCT'ler, MAP'ler) desteği etkinleştirilir.
GoogleServiceAccount null Google hizmet hesabı kullanarak kimlik doğrulamasını etkinleştirir.
GoogleCredentialsFile null Google Service hesabı kimlik doğrulaması için JSON anahtar dosyasının yolu.
EnableOIDCDiscovery 1 1olarak ayarlanırsa OpenID Connect bulma URL'si kullanılır.
OIDCDiscoveryEndpoint null OIDC yapılandırmasını almak için OpenID Connect keşif URL'si.
Auth_RefreshToken null Yeni erişim belirtecini almak için kullanılan OAuth2 yenileme belirteci.
OAuth2ConnAuthAuthorizeEndpoint null OAuth2 akışında kullanılan yetkilendirme uç noktası URL'si.
OAuth2ConnAuthTokenEndpoint null OAuth2 akışı için belirteç uç noktası URL'si.
ProxyAuth 0 1olarak ayarlanırsa, sürücü ProxyUID ve ProxyPwdile temsil edilen proxy kimlik doğrulama kullanıcısını ve parolasını kullanır.
ProxyHost null UseProxy de 1olarak ayarlandığında kullanılacak ara sunucu konağı adını temsil eden bir dize.
ProxyPort null UseProxy de 1olarak ayarlandığında kullanılacak ara sunucu bağlantı noktasının sayısını temsil eden bir tamsayı.
ProxyPwd null ProxyAuth ve UseProxy da 1olarak ayarlandığında proxy kimlik doğrulaması için kullanılacak parolayı temsil eden bir dize.
ProxyUID null ProxyAuth ve UseProxy de 1olarak ayarlandığında proxy kimlik doğrulaması için kullanılacak kullanıcı adını temsil eden bir dize.
SSL 1 Bağlayıcının SSL özellikli bir yuva üzerinden Spark sunucusuyla iletişim kurup kurmadığı.
UseProxy 0 1olarak ayarlanırsa, sürücü sağlanan ara sunucu ayarlarını kullanır (örneğin: ProxyAuth, ProxyHost, ProxyPort, ProxyPwdve ProxyUID).
UseSystemProxy 0 1olarak ayarlanırsa, sürücü sistem düzeyinde ayarlanmış ara sunucu ayarlarını kullanır. Bağlantı URL'sinde başka ara sunucu özellikleri ayarlanırsa, bu ek ara sunucu özellikleri sistem düzeyinde ayarlanmış olanları geçersiz kılar.
UseCFProxy 0 1olarak ayarlandığında, sürücü bulut getirme proxy ayarları sağlanmışsa onları kullanır, aksi takdirde normal ara sunucuyu kullanır.
UseJWTAssertion false İstemci gizli anahtarı kimlik doğrulamasının kısıtlandığı M2M kullanım örnekleri için özel anahtar JWT kimlik doğrulamasını etkinleştirir.
UserAgentEntry browser HTTP isteğine eklenecek User-Agent girdisi. Bu değer şu biçimdedir: [ProductName]/[ProductVersion] [Comment]
UseThriftClient 0 JDBC sürücüsünün Thrift istemcisini kullanarak çok amaçlı bir kümeye bağlanıp bağlanmayacağı. Varsayılan değer SQL ambarlarında çalışır.

SQL yapılandırma özellikleri

Aşağıdaki SQL yapılandırma özellikleri, Databricks JDBC Sürücüsü (OSS)tarafından desteklenir. Bunlar, Yapılandırma parametreleri bölümünde de açıklanmıştır. Özellikler büyük/küçük harfe duyarlı değildir.

Mülk Varsayılan değer Açıklama
ansi_mode TRUE Belirli işlevler ve atama kuralları için katı ANSI SQL davranışının etkinleştirilip etkinleştirilmeyileceği.
enable_photon TRUE Photon vektörleştirilmiş sorgu altyapısının etkinleştirilip etkinleştirilmeyileceği.
legacy_time_parser_policy EXCEPTION Tarihleri ve zaman damgalarını ayrıştırmak ve biçimlendirmek için kullanılan yöntemler. Geçerli değerler EXCEPTION, LEGACYve CORRECTED.
max_file_partition_bytes 128m Dosya tabanlı kaynaklardan okurken tek bir bölüme paketlenmesi gereken bayt sayısı üst sınırı. Bu ayar herhangi bir pozitif tamsayı olabilir ve isteğe bağlı olarak b (bayt), k veya kb (1024 bayt) gibi bir ölçü içerebilir.
read_only_external_metastore false Dış meta veri deposunun salt okunur olarak ayarlanıp ayarlanmadığını kontrol eder.
statement_timeout 172800 0 ile 172800 saniye arasında bir SQL deyimi için zaman aşımı ayarlar.
timezone UTC Yerel saat dilimini ayarlayın. Bölge Kimlikleri, area/citybiçiminde, Amerika/Los_Angeles gibi veya bölge uzaklıkları +|-)HH, (+|-)HH:mm veya (+|-)HH:mm:ss formatlarında, örneğin -08, +01:00 veya -13:33:33. Ayrıca, UTC +00:00 için diğer ad olarak desteklenir
use_cached_result true Databricks SQL'in mümkün olduğunca sonuçları önbelleğe alıp almadığı ve yeniden kullanıp kullanmadığı.

Günlük özellikleri

Aşağıdaki günlük özellikleri, Databricks JDBC Sürücüsü (OSS) tarafından desteklenir. Özellikler büyük/küçük harfe duyarsızdır.

Mülk Varsayılan değer Açıklama
LogLevel OFF 0'dan 6'ya kadar bir değer olan günlük düzeyi:
  • 0: Tüm günlükleri devre dışı bırakın.
  • 1: Bağlayıcıyı durduracak kadar ciddi hata olaylarını günlüğe kaydeden FATAL seviyesinde günlüğe kaydetmeyi etkinleştirin.
  • 2: Hata düzeyinde günlüğe kaydı etkinleştirerek, bağlayıcının çalışmaya devam edebilmesini sağlayabilecek hata olaylarını kaydedin.
  • 3: Eylem yapılmazsa hataya neden olabilecek olayları günlüğe UYARI düzeyinde kaydetmeyi etkinleştirin.
  • 4: Bağlayıcının ilerlemesini açıklayan genel bilgileri kaydetmek için BİLGİ düzeyinde günlük kaydını etkinleştirin.
  • 5: Bağlayıcıda hata ayıklama için yararlı olan ayrıntılı bilgileri günlüğe alan DEBUG düzeyinde günlüğe kaydetmeyi etkinleştirin.
  • 6: TRACE düzeyinde, tüm bağlayıcı etkinliğini günlüğe kaydedecek şekilde kaydetmeyi etkinleştirin.

Bağlayıcıda günlüğe kaydetmeyi etkinleştirmek veya devre dışı bırakmak ve günlük dosyalarına dahil edilen ayrıntı miktarını belirtmek için bu özelliği kullanın.
LogPath Sürücü, günlüklerin varsayılan yolunu belirlemek için bu sistem özellikleri için ayarlanan değeri şu öncelik sırasına göre kullanır:
  • user.dir
  • java.io.tmpdir
  • geçerli dizin, başka bir deyişle .
 Günlük kaydı etkinleştirildiğinde, bağlayıcının günlük dosyalarını kaydettiği klasörün tam yolu bir dize olarak verilmiştir. Bağlantı URL'sinin tüm JDBC uygulamalarıyla uyumlu olduğundan emin olmak için, başka bir ters eğik çizgi yazarak dosya yolunuzda ters eğik çizgilerden (\) çıkın.
LogPath değeri geçersizse, bağlayıcı günlüğe kaydedilen bilgileri standart çıkış akışına (System.out) gönderir.
LogFileSize Maksimum değer yok MB cinsinden belirtilen izin verilen maksimum günlük dosyası boyutu
LogFileCount Maksimum değer yok İzin verilen log dosyalarının en fazla sayısı

Kayıt tutmayı etkinleştirme ve yapılandırma

JDBC sürücüsü Java için Basit Günlüğe Kaydetme Cephesi (SLF4J) ve java.util.logging (JUL) çerçevelerini destekler. Sürücü varsayılan olarak JUL günlük çerçevesini kullanır.

JDBC sürücüsü için günlük kaydını etkinleştirmek ve yapılandırmak için:

  1. Kullanmak istediğiniz kayıt framework'ünü etkinleştirin.

    • SLF4J günlüğü için sistem özelliğini -Dcom.databricks.jdbc.loggerImpl=SLF4JLOGGER ayarlayın ve sınıf yolu içinde SLF4J bağlama uygulamasını (SLF4J sürüm 2.0.13 ve üzeri ile uyumlu) ve ilgili yapılandırma dosyasını sağlayın.
    • JUL günlüğü için sistem özelliğini -Dcom.databricks.jdbc.loggerImpl=JDKLOGGER ayarlayın. Varsayılan değer budur.

  2. Bağlantı dizesindeki LogLevel özelliğini günlük dosyalarına eklenecek istenen bilgi düzeyine ayarlayın.

  3. Bağlantı dizesinde LogPath özelliğini günlük dosyalarını kaydetmek istediğiniz klasörün tam yoluna ayarlayın.

    Örneğin, aşağıdaki bağlantı URL'si günlük düzeyi 6'yı etkinleştirir ve günlük dosyalarını C:\temp klasörüne kaydeder:

    jdbc: databricks://localhost:11000;LogLevel=6;LogPath=C:\\temp

  4. JDBC uygulamanızı yeniden başlatın ve ayarları uygulamak için sunucuya yeniden bağlanın.

Birim işlemleri özellikleri

Aşağıdaki Unity Kataloğu birim işlemleri özellikleri, Databricks JDBC Sürücüsü (OSS)tarafından desteklenir. Özellikler büyük/küçük harfe duyarlı değildir.

Mülk Varsayılan değer Açıklama
VolumeOperationAllowedLocalPaths `` UC Volume Ingestion dosyalarını indirmek ve karşıya yüklemek için izin verilen yerel yolların virgülle ayrılmış listesi. Yollar alt dizinleri de içerir.

Birimleri kullanarak dosyaları yönetme

Databricks, Unity Kataloğu birimlerini kullanarak toplu veri aktarma yetenekleri (karşıya yükleme/indirme/kaldırma) sunarak kullanıcıların veri kümelerini yerel dosyalar, örneğin CSV dosyaları, ile değiş tokuş etmesine olanak tanır. Bkz. Unity Catalog birimleri nelerdir?. Unity Kataloğu birim işlemlerini etkinleştirmek için, VolumeOperationAllowedLocalPaths bağlantı özelliğini birim işlemleri için izin verilen yerel yolların virgülle ayrılmış bir listesine ayarlayın.

Bu özelliği kullanmak için Unity Kataloğu etkinleştirilmelidir. Benzer işlevler Databricks kullanıcı arabirimi kullanılarak da kullanılabilir. Bkz. Unity Kataloğu birimine dosya yükleme.

Unity Kataloğu alma komutları SQL ifadeleridir. Aşağıdaki örneklerde PUT, GETve REMOVE işlemleri gösterilmektedir.

Yerel bir dosyayı karşıya yükleyin

/Volumes/main/default/e2etests/file1.csvolarak bir Unity Kataloğu birim yoluna /tmp/test.csv yerel bir dosya yüklemek için PUT işlemini kullanın:

  PUT '/tmp/test.csv' INTO '/Volumes/main/default/e2etests/file1.csv' OVERWRITE

Dosya indirme

Yerel dosya /tmp/test.csv'e indirmek için Unity Kataloğu birim yolundan /Volumes/main/default/e2etests/file1.csv dosyasını GET işlemini kullanarak indirin.

  GET '/Volumes/main/default/e2etests/file1.csv' TO '/tmp/test.csv'

Dosya silme

/Volumes/main/default/e2etests/file1.csvUnity Kataloğu birim yolu olan bir dosyayı silmek için REMOVE işlemini kullanın:

  REMOVE '/Volumes/main/default/e2etests/file1.csv'