Databricks Runtime 13.3 LTS

Aşağıdaki sürüm notları, Apache Spark 3.4.1 tarafından desteklenen Databricks Runtime 13.3 LTS hakkında bilgi sağlar.

Databricks bu sürümü Ağustos 2023'te yayımladı.

Yeni özellikler ve geliştirmeler

• Paylaşılan kümeler için Scala desteği
• Unity Kataloğu paylaşılan kümelerinde başlatma betikleri, JAR'ler ve Maven koordinatları için İzin Verilenler listesi Genel Önizleme
• Başlatma betikleri ve JAR dosyaları için birimler desteği Genel Önizleme aşamasında
• Delta Lake işlemleri için varsayılan olarak etkinleştirilen Kasa atamaları
• Unity Kataloğu ile etiketleri tanıtma
• Sorgu planlaması ve çağırma arasında bir dosya değiştirilirse Databricks Runtime bir hata döndürür
• Dinamik bölüm üzerine yazma kullanıldığında şema üzerine yazma
• copyFile API'lerini dbutils.fs.cp ile tümleştirme
• Databricks ODBC/JDBC sürücü desteği
• Adsız (konumsal) parametre işaretçileri desteği
• Zaman serisi sütun etiketlemesini etkinleştirme
• Yeni bit eşlem SQL işlevleri
• Geliştirilmiş şifreleme işlevleri
• için Unity Kataloğu desteği
• INSERT AD GÖRE
• Gerçekleştirilmiş görünümleri Delta Sharing ile paylaşma

Paylaşılan kümeler için Scala desteği

Unity Kataloğu özellikli paylaşılan kümeler artık Databricks Runtime 13.3 ve üzerini kullanırken Scala'yı destekliyor.

Unity Kataloğu paylaşılan kümelerinde başlatma betikleri, JAR'ler ve Maven koordinatları için izin verilenler listesi Genel Önizleme'de

Artık Databricks Runtime 13.3 ve üzerini çalıştıran paylaşılan erişim moduyla işlem üzerinde init betiklerinin, JAR'lerin ve Maven koordinatlarının yüklenmesini denetlemek için Unity Kataloğu allowlist kullanabilirsiniz. Bkz. Paylaşılan işlemdeki izin verilenler listesi kitaplıkları ve başlatma betikleri.

Başlangıç betikleri ve JAR dosyaları için birim desteği Genel Önizleme aşamasındadır.

Artık Databricks Runtime 13.3 ve üzerini çalıştıran atanmış veya paylaşılan erişim modlarıyla işlem üzerinde init betiklerini ve JAR'leri depolamak için Unity Kataloğu birimlerini kullanabilirsiniz. Bkz. Başlatma betikleri nereye yüklenebilir? ve Küme kapsamlı kitaplıkları.

Delta Lake işlemleri için varsayılan olarak etkinleştirilen Kasa atamaları

Delta UPDATE ve MERGE işlemleri artık değerler hedef tablo şemasındaki türe güvenli bir şekilde dönüştürülemediğinde bir hata verir. Delta'daki tüm örtük atamalar artık yerine spark.sql.storeAssignmentPolicyöğesini izlerspark.sql.ansi.enabled. Bkz . Databricks Runtime'da ANSI uyumluluğu.

Unity Kataloğu ile etiketlere giriş

Databricks Runtime 13.3 LTS ve sonraki sürümleriyle, güvenli hale getirilebilir nesnelerinize etiketler uygulayabilirsiniz. Etiketler, güvenli hale getirilebilen nesneleri düzenlemenize ve veri varlıklarınızı aramayı ve bulmayı basitleştirmenize yardımcı olur. Bkz. Unity Kataloğu güvenli hale getirilebilir nesnelere etiket uygulama.

Sorgu planlaması ve çağırma arasında bir dosya değiştirilirse Databricks Runtime bir hata döndürür

Sorgu planlaması ve çağırma arasında bir dosya güncelleştirilirse Databricks Runtime sorguları artık bir hata döndürür. Bu değişiklik öncesinde Databricks Runtime bu aşamalar arasındaki bir dosyayı okuyarak zaman zaman öngörülemeyen sonuçlara yol açar.

Dinamik bölüm üzerine yazmalar kullanılırken şema üzerine yazmayı engelle

Delta Lake'te dinamik bölüm üzerine yazmalarla birlikte overwriteSchema'ı true olarak ayarlayamazsınız. Bu, şema uyuşmazlığı nedeniyle olası tablo bozulmalarını önler. Bkz. Dinamik bölümüzerine yazar.

copyFile API'lerini dbutils.fs.cp ile tümleştirme

dbutils copy komutu artık dbutils.fs.cp daha hızlı kopyalama için iyileştirilmiştir. Bu geliştirmeyle, dosya boyutuna bağlı olarak kopyalama işlemleri 100 kata kadar daha hızlı olabilir. Bu özellik, Unity Katalog Birimleri ve Databricks Dosya Sistemi bağlamaları dahil olmak üzere Azure Databricks'te erişilebilen tüm dosya sistemlerinde kullanılabilir.

Databricks ODBC/JDBC sürücü desteği

Azure Databricks, son 2 yılda yayımlanan ODBC ve JDBC sürücülerini destekler. ODBC Sürücüsünü İndir ve JDBC Sürücüsü İndir'de en son sürücüyü indirin.

Adsız (konumsal) parametre işaretçileri desteği

SparkSession.sql() API artık söz dizimini ? kullanan parametreli sorgulara ek olarak söz dizimini :parm kullanarak parametreli sorguları da destekliyor. Bkz. parametre işaretçileri.

Zaman serisi sütun etiketlemesini etkinleştirme

Artıkbirincil anahtar kısıtlamaları oluştururken zaman serisi sütunlarını etiketleyebilirsiniz.

Yeni bit eşlem SQL işlevleri

Azure Databricks artık integral sayısal değerlerini bit eşlem ile eşlemek ve bunları toplamak için kullanılabilecek bir işlev kümesi sağladı. Bu, farklı değer sayısını önceden hesaplamak için kullanılabilir.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

Geliştirilmiş şifreleme işlevleri

aes_encrypt, aes_decrypt ve try_aes_decrypt işlevleri başlatma vektörleri (IV) ve kimliği doğrulanmış ek veriler (AAD) desteğiyle geliştirilmiştir.

REFRESH FOREIGN için Unity Kataloğu desteği

Artık REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAve REFRESH FOREIGN TABLEkullanarak Unity Kataloğu'nda yabancı katalogları, şemaları ve tabloları güncelleştirebilirsiniz. bkz. REFRESH FOREIGN (CATALOG, SCHEMAve TABLE).

ADINA GÖRE INSERT

Tabloya satır eklerken artık Azure Databricks'in kaynak sorgudaki sütunları ve alanları kendi adlarıyla tablonun sütunlarıyla otomatik olarak eşlemesine izin vekleyebilirsiniz. Bkz. INSERT INTO.

Delta Sharing ile maddileştirilmiş görünümleri paylaşma

ALTER SHARE deyimi artık gerçekleştirilmiş görünümleri destekliyor.

Hataya neden olan değişiklikler

MERGE INTO ve UPDATE içeren bir tabloda satırları depolarken örtük atama değişiklikleri

Azure Databricks artık tablodaki satırları depolarken örtük atama için yapılandırma spark.sql.storeAssignmentPolicy izler. ANSI varsayılan değer, taşan değerleri depolarken hata oluşturur. Daha önce, değerler varsayılan olarak NULL olarak depolanıyorlardı.

Aşağıdaki örnekte olduğu gibi, hataya neden olan sütun için daha geniş bir tür kullanmak üzere tabloyu yeniden yazarak taşmalara çözüm bulabilirsiniz.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet Şema Tahmini Değişiklikleri

Spark tarafından yazılmayan Parquet dosyalarından şemalar çıkarılırken, isAdjustedToUTC=false ek açıklamalı int64 zaman damgası sütunları varsayılan olarak TIMESTAMP_NTZ türüne ayarlanır. Daha önce bunlar tür olarak TIMESTAMP çıkarılmıştır. Bu güncelleştirme Parquet türlerini Spark SQL türlerine eşleme doğruluğunu artırır.

Sonuç olarak, dış Parquet dosyalarından Delta tablosuna veri okuma, timestampNtz özelliği etkinleştirilmemişse hataya neden olabilir. Hata aşağıdaki gibi görüntülenir:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Önceki davranışı korumak ve bu hatayı önlemek için Spark yapılandırma parametresini spark.sql.parquet.inferTimestampNTZ.enabledfalseolarak ayarlayabilirsiniz.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 1.5.1 ile 1.6.0 arasında hata ayıklama
  • 0,3,6 ile 0,3,7 olan distlib
  • fastjsonschema 2.16.3 ile 2.18.0
  • 3.12.0 ile 3.12.2 arasında dosya kilidi
• Yükseltilen R kitaplıkları:
  • SparkR 3.4.0 ile 3.4.1
• Yükseltilen Java kitaplıkları:
  • org.apache.orc.orc-core 1.8.3-shaded-protobuf ile 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims 1.8.3 ile 1.8.4 arası
  • org.eclipse.jetty.jetty-client from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus 9.4.50.v20221201 ile 9.4.51.v20230217 arasında
  • org.eclipse.jetty.jetty-proxy from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.xerial.snappy.snappy-java 1.1.8.4 ile 1.1.10.1

Apache Spark

Databricks Runtime 13.3, Apache Spark 3.4.1'i içerir. Bu sürüm, Databricks Runtime 13.2'de (EoS) bulunan tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• Artık küme ortamı değişkenini SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 Spark-snowflake bağlayıcısı v2.12.0 kullanacak şekilde ayarlayabilirsiniz.
• [SPARK-43380] [DBRRM-383] "[SC-133100][SQL] Avro veri türü yakınsama düzeltildi...
• [SPARK-44504] [Backport][13.2][13.x][13.3] Sağlayıcıyı kaldırarak veritabanı örneğini kapatmaya ve bakım görevi hatasında kaynakları serbest bırakmaya zorlama
• [SPARK-44059] [SC-137023] Yerleşik işlevler için adlandırılmış bağımsız değişkenler için çözümleyici desteği ekleme
• [SPARK-44485] [SC-137653][SQL] TreeNode.generateTreeString İyileştir
• [SPARK-42944] [SC-137164][SS][PYTHON] Python'da Akış ForeachBatch
• [SPARK-44446] [SC-136994][PYTHON] Beklenen liste türü özel durumları için denetim ekleme
• [SPARK-44439] [SC-136973][BAĞLAN][SS]ListListeners'ın yalnızca istemciye kimlikleri geri göndermesi düzeltildi
• [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API'sini genel yapma
• [SPARK-44201] [SC-136778][BAĞLAN][SS]Spark Connect için Scala'da Akış Dinleyicisi desteği ekleme
• [SPARK-43915] [SC-134766][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[2438-2445]
• [SPARK-43798] Revert "[SC-133990][SQL][PYTHON] Python kullanıcı tanımlı tablo işlevlerini destekleme"
• [SPARK-44398] [SC-136720][BAĞLAN] Scala foreachBatch API'si
• [SPARK-44476] [SC-137169][CORE][BAĞLAN] İlişkili yapıt olmadan JobArtifactState için yapıt popülasyonu düzeltilir
• [SPARK-44269] [SC-135817][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[2310-2314]
• [SPARK-44395] [SC-136744][SQL] TABLE anahtar sözcüğün ardından tanımlayıcı etrafında parantez gerektirecek şekilde TVF bağımsız değişkenlerini güncelleştirin
• [SPARK-43915] [SC-134766][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[2438-2445]
• [SPARK-43995] [SC-136794][SPARK-43996][BAĞLAN] Connect Scala İstemcisine UDFRegistration desteği ekleme
• [SPARK-44109] [SC-134755][CORE] Her RDD bölümünün yinelenen tercih edilen konumlarını kaldırma
• [SPARK-44169] [SC-135497][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[2300-2304]
• [SPARK-41487] [SC-135636][SQL] _LEGACY_ERROR_TEMP_1020'a ad atama
• [SPARK-44398] [SC-136720][BAĞLAN] Scala foreachBatch API'si
• [SPARK-44153] [SC-134977][CORE][UI] Executors sekmesinde Heap Histogram sütunu desteği
• [SPARK-44044] [SC-135695][SS] Akışlı Pencere işlevleri için Hata iletisini geliştirme
• [SPARK-43914] [SC-135414][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[2433-2437]
• [SPARK-44217] [SC-136805][PYTHON] Yaklaşık fp eşitliği için özel duyarlığa izin ver
• [SPARK-44370] [SC-136575][BAĞLAN] Buf uzak nesil alfayı uzak eklentilere geçirme
• [SPARK-44410] [SC-136930][PYTHON][CONNECT] Yalnızca getOrCreate değil, oluşturma sırasında etkin oturumun ayarlanması
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][BAĞLAN][PYTHON] İlgili değişikliklerle test_artifact yeniden kullanılabilir
• [SPARK-44145] [SC-136698][SQL] Yürütme için hazır olduğunda geri çağırma
• [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler Sınıfı
• [SPARK-43986] [SC-135623][SQL] HyperLogLog işlev çağrısı hataları için hata sınıfları oluşturma
• [SPARK-44139] [SC-134967][SQL] Grup tabanlı MERGE işlemlerinde tamamen aşağı gönderilen filtreleri at
• [SPARK-44338] [SC-136718][SQL] Görünüm şeması uyumsuzluğu hata mesajı düzeltildi
• [SPARK-44208] [SC-135505][CORE][SQL] Özel durumları doğrudan kullanan bazı mantıklar için net hata sınıfı adları atama
• [SPARK-44364] [SC-136773] [PYTHON] Beklenen List[Row] veri türü desteğini ekleme
• [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils, ResolveTimeZone uygulamalıdır
• [SPARK-43389] [SC-136772][SQL] lineSep seçeneği için null denetim eklendi
• [SPARK-44388] [SC-136695][BAĞLAN] UDF örneği güncelleştirildiğinde protobuf atama sorunu düzeltildi
• [SPARK-44352] [SC-136373][BAĞLAN] SameType ve arkadaşlarınızı DataType'a geri yerleştirin.
• [SPARK-43975] [SC-134265][SQL] DataSource V2: Grup tabanlı kaynaklar için UPDATE komutlarını işleme
• [SPARK-44360] [SC-136461][SQL] Delta tabanlı MERGE işlemlerinde şema ayıklamayı destekler
• [SPARK-44138] [SC-134907][SQL] MERGE koşullarında belirleyici olmayan ifadeleri, alt sorguları ve toplamaları yasakla
• [SPARK-43321] [SC-136678][Bağlan][İzleme] Scala client joinWith içinde kullanılan API'ler için daha iyi adlar
• [SPARK-44263] [SC-136447][BAĞLAN] Özel Kesme Noktası Avcıları Desteği
• [SPARK-39851] [SC-123383][SQL] Bir tarafın benzersizliği koruyabilmesi durumunda birleştirme istatistiklerini tahmin etmeyi geliştirme
• [SPARK-44390] [SC-136677][CORE][SQL] Yeniden adlandır SparkSerDerseUtilsSparkSerDeUtils
• [SPARK-44004] [SC-134751][SQL] Sık karşılaşılan ESKI hatalar için ad atayın ve hata iletisini geliştirin.
• [SPARK-44322] [SC-136204][BAĞLAN] Ayrıştırıcının SQLConf yerine SqlApiConf kullanmasını sağlayın.
• [SPARK-44271] [SC-136347][SQL] Varsayılan değer işlevlerini StructType'tan ResolveDefaultColumns'a taşıma
• [SPARK-44332] [SC-136413][CORE][WEBUI] Yürütücüler UI Sayfasındaki Yürütücü ID Sütunu sıralama hatası giderildi
• [SPARK-44282] [SC-135948][BAĞLAN] DataType ayrıştırma işlemini Spark Connect Scala İstemcisi'nde kullanmak üzere hazırlama
• [SPARK-44349] [SC-136581][R] SparkR'ye matematik işlevleri ekleme
• [SPARK-44397] [SC-136647][PYTHON] pyspark.testing.utils içinde assertDataFrameEqual'i kullanıma sunma
• [SPARK-42981] [SC-136620][BAĞLAN] Doğrudan ok serileştirmesi ekleme
• [SPARK-44373] [SC-136577][SQL] Ayrıştırıcıyla ilgili yapılandırma çalışması yapmak için Veri Kümesi API'sinde Ayrıştırma mantığı ile Kaydırma
• [SPARK-44340] [SC-136574][SQL] PartitionEvaluator API'sini kullanarak bilgi işlem mantığını tanımlayın ve WindowGroupLimitExec'te kullanın
• [SPARK-43665] [SC-136573][BAĞLAN][PS] Spark Connect ile çalışmak için PandasSQLStringFormatter.vformat'ı etkinleştirme
• [SPARK-44325] [SC-136572][SQL] SortMergeJoinExec'de PartitionEvaluator API'lerini kullanma
• [SPARK-44315] [SC-136171][SQL][BAĞLAN] DefinedByConstructorParams'ı sql/api'ye taşıma
• [SPARK-44275] [SC-136184][BAĞLAN] Scala Spark Connect'e yapılandırılabilir yeniden deneme mekanizması ekleme
• [SPARK-44326] [SC-136208][SQL][BAĞLAN] Scala istemcisinden kullanılan yardımcı programları ortak modüllere taşıma
• [SPARK-43321] [SC-136156][Bağlan] Dataset#Joinwith
• [SPARK-44343] [SC-136372][BAĞLAN] ScalaReflection'ı SQL/API'ye taşımaya hazırlama
• [SPARK-44313] [SC-136081][SQL] Şemada char/varchar sütunu olduğunda oluşturulan sütun ifadesi doğrulaması düzeltildi
• [SPARK-43963] [SC-134145][SQL] DataSource V2: Grup tabanlı kaynaklar için MERGE komutlarını işleme
• [SPARK-44363] [SC-136433] [PYTHON] DataFrame karşılaştırmasında eşit olmayan satırların yüzdesini görüntüleme
• [SPARK-44251] [SC-136432][SQL] Tam dış USING birleşiminde birleştirme anahtarında nullable değeri doğru ayarlama
• [SPARK-43948] [SC-133366][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][BAĞLAN][PYTHON] Scala ve Python'a hll_sketch_agg, hll_union_agg, to_varchar try_aes_decrypt ekleme
• [SPARK-44351] [SC-136353][SQL] Söz dizimsel basitleştirme yapın
• [SPARK-44281] [SC-135963][SQL] DataType tarafından kullanılan QueryCompilation hatasını DataTypeErrors olarak sql/api'ye taşıma
• [SPARK-44283] [SC-136109][BAĞLAN] Kaynağı SQL/API'ye Taşıma
• [SPARK-43926] [SC-135590][BAĞLAN][PYTHON] Scala ve Python'a array_agg, array_size, kardinalite, count_min_sketch,maske,named_struct,json_* ekleme
• [SPARK-44327] [SC-136187][SQL][BAĞLAN] Scala'ya ve any işlevleri len ekleme
• [SPARK-44290] [SC-136300][BAĞLAN] Spark Connect'te oturum tabanlı dosyalar ve arşivler
• [SPARK-44061] [SC-136299][PYTHON] assertDataFrameEqual yardımcı programı işlevi ekleme
• [SPARK-44331] [SC-136324][BAĞLAN][PYTHON] Scala ve Python'a bit eşlem işlevleri ekleme
• [SPARK-44342] [SC-136334][SQL] SQLContext'i GenTPCDSData için SparkSession ile değiştirme
• [SPARK-42583] [SC-124190][SQL] Tümü benzersiz toplama işlevleriyse dış birleşim işlemini kaldırın
• [SPARK-44333] [SC-136206][BAĞLAN][SQL] EnhancedLogicalPlan'ı ParserUtils dışına taşıma
• [SPARK-43824] [SC-132655][SPARK-43825] [SQL] _LEGACY_ERROR_TEMP_128 hata sınıfına ad atama[1-2]
• [SPARK-43939] [SC-134602][BAĞLAN][PYTHON] Scala ve Python'a try_* işlevleri ekleme
• [SPARK-44193] [SC-135886][BAĞLAN] Dönüştürme için GRPC özel durumlarını durdurma uygulama
• [SPARK-44284] [SC-136107][BAĞLAN] sql/api için basit conf sistemi oluşturma
• [SPARK-43913] [SC-133368][SQL] LEGACY_ERROR_TEMP hata sınıfına ad atama[2426-2432]
• [SPARK-44291] Revert "[SC-135924][SPARK-43416][CONNECT] Aralık sorgusu için yanlış şema düzeltildi"
• [SPARK-44312] [SC-136185][CONNECT][PYTHON] Ortam değişkeniyle kullanıcı aracısı ayarlamaya izin ver
• [SPARK-44154] [SC-136060] Bit eşlem işlevlerini uygulama
• [SPARK-43885] [SC-133996][SQL] DataSource V2: Delta tabanlı kaynaklar için BIRLEŞTIRME komutlarını işleme
• [SPARK-43924] [SC-135161][BAĞLAN][PYTHON] Scala ve Python'a misc işlevleri ekleme
• [SPARK-43969] [SC-134556][SQL] Hata sınıfına adları yeniden düzenleme ve atama _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][SQL] Katalog ve veri işlemleri arasındaki tutarsız yolu düzeltme
• [SPARK-44073] [SC-134562][SQL][PYTHON][BAĞLAN] Scala, Python ve Connect'e tarih saat işlevleri ekleme - bölüm 2
• [SPARK-43942] [SC-134527][BAĞLAN][PYTHON] Scala ve Python'a dize işlevleri ekleme - bölüm 1
• [SPARK-44266] [SC-135813][SQL] Util.truncatedString öğesini sql/api'ye taşıma
• [SPARK-44195] [SC-135722][R] SparkR SparkContext'e JobTag API'leri ekleme
• [SPARK-44200] [SC-135736][SQL] TableValuedFunction için TABLE bağımsız değişken ayrıştırıcı kuralını destekleme
• [SPARK-44254] [SC-135709][SQL] DataType tarafından kullanılan QueryExecutionErrors'ı DataTypeErrors olarak sql/api'ye taşıma
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Aralık sorgusu için yanlış şema düzeltildi
• [SPARK-43922] [SC-135612][SQL] İşlev çağrıları için ayrıştırıcıya adlandırılmış parametre desteği ekleme
• [SPARK-44300] [SC-135882][CONNECT] Yapıt temizleme işlemini, silme kapsamını oturuma özgü yapıtlarla sınırlamak amacıyla düzeltme
• [SPARK-44293] [SC-135849][BAĞLAN] Spark Connect'te özel JAR'ler için geçersiz URI'yi düzeltme
• [SPARK-44215] [SC-135850][SHUFFLE] Sayı öbekleri 0 ise sunucu RuntimeException oluşturmalıdır
• [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests yalnızca açıklayıcı olmalıdır
• [SPARK-44274] [SC-135814][BAĞLAN] ArtifactManager tarafından kullanılan yardımcı program işlevlerini ortak/yardımcı programlara taşıma
• [SPARK-44194] [SC-135815][PYTHON][CORE] PySpark SparkContext'e JobTag API'leri ekleme
• [SPARK-42828] [SC-135733][PYTHON][SQL] GroupedData için daha açık Python türü ek açıklamaları
• [SPARK-44079] [SC-135486][SQL] ArrayIndexOutOfBoundsException Bozuk kayıtla PERMISSIVE modunu kullanarak diziyi yapı olarak ayrıştırma düzeltmesi
• [SPARK-44255] [SC-135809][SQL] StorageLevel'i ortak/yardımcı programlara yeniden dağıtma
• [SPARK-42169] [SC-135795] [SQL] to_csv işlevi için kod oluşturma uygulama (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] PythonUDTFRunner'ı dönüş türünü ayrı olarak göndermek için yeniden düzenleme
• [SPARK-43353] [SC-132734][PYTHON] Kalan oturum hatalarını hata sınıfına geçirme
• [SPARK-44211] [SC-135718][PYTHON][BAĞLAN] SparkSession.is_stopped uygulama
• [SPARK-42784] [SC-135691] birleştirme dirindeki subDir sayısı conf değerinden az olduğunda subDir'i oluşturmaya devam etmelidir
• [SPARK-41599] [SC-135616] InProcessLauncher kullanarak güvenli kümeye uygulama gönderirken FileSystem.CACHE dosyasında bellek sızıntısı
• [SPARK-44241] [SC-135613][Core] Yanlışlıkla io.connectionTimeout/connectionCreationTimeout değerini sıfır veya negatif olarak ayarlamak, sürekli yürütücü eksilerine/yok edilmesine neden olur
• [SPARK-44133] [SC-134795][13.X][PYTHON] MyPy'yi 0.920'den 0.982'ye yükseltme
• [SPARK-42941] [SC-134707][SS][BAĞLAN][1/2] StreamingQueryListener - JSON biçiminde Event Serde
• [SPARK-44188] [SC-135173][CORE] ActiveJob'de gereksiz resetAllPartitions yöntemini kaldırma
• [SPARK-43757] [SC-135418][CONNECT] İstemci uyumluluğunu izin ver listesinden reddetme listesine değiştirme
• [SPARK-43474] [SC-135521] [SS] [BAĞLAN] Kimliğine göre çalışma zamanı Veri Çerçevelerine spark connect erişimi ekleyin.
• [SPARK-44183] [SC-135209][PYTHON] En düşük sürümü 4.0.0'a oluşturma PyArrow
• [SPARK-44248] [SC-135554][SS][SQL][Kafka] Kafka kaynağı v2'de tercih edilen konumu ekleme
• [SPARK-43929] [SC-134510][SQL][PYTHON][BAĞLAN] Scala, Python ve Connect API'sine tarih saat işlevleri ekleme - bölüm 1
• [SPARK-44161] [SC-135326][Bağlan] UDF'ler için Satır girişini işleme
• [SPARK-44227] [SC-135520][SQL] StructField'dan SchemaUtils Ayıklama
• [SPARK-44064] [SC-135116][CORE][SQL] öğesine yeni apply bir işlev ekleme NonFateSharingCache
• [SPARK-44171] [SC-135269][SQL] Hata sınıfına ad atama LEGACY_ERROR_TEMP[2279-2282] & kullanılmayan bazı hata sınıflarını silin
• [SPARK-44056] [SC-134758][SQL] Kullanılabilir olduğunda UDF yürütme hatası hata iletisine UDF adını ekle
• [SPARK-44205] [SC-135422][SQL] DecimalType'tan Katalizör Kodunu Ayıklama
• [SPARK-44220] [SC-135484][SQL] StringConcat'i sql/api'ye taşıma
• [SPARK-44146] [SC-135230][BAĞLAN] Spark Connect Oturum jar'larını ve sınıf dosyalarını yalıtma
• [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][SQL] Test çalışması yorumlanan sorguların Codegen yürütebileceğini düzeltme
• [SPARK-44204] [SC-135253][SQL][HIVE] getPartitionNames için eksik recordHiveCall ekleme
• [SPARK-44237] [SC-135485][CORE] DirectByteBuffer oluşturucu arama mantığını basitleştirme
• [SPARK-44189] [SC-135170][CONNECT][PYTHON] sql() göre konumsal parametreleri destekler
• [SPARK-44140] [SC-134893][SQL][PYTHON] Python sql()'de konumsal parametreleri destekleme
• [SPARK-44164] [SC-135158][SQL] StructField'den Util sınıfına toAttribute yöntemini ayıklama
• [SPARK-44178] [SC-135113][CONNECT] sql()'da konumsal parametreleri destekleme
• [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader okumadan sonra inputstream engel sınıfını kapatmalıdır
• [SPARK-43063] [SC-128382][SQL] df.show handle null yerine NULL yazdırmalıdır
• [SPARK-42539] [SC-124464][SQL][HIVE] Meta veri istemcisi için 'yerleşik' Hive sürümünü kullanırken ayrı sınıf yükleyiciyi ortadan kaldırın
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Catalog.listFunctions için isteğe bağlı desen ekleme
• [SPARK-44066] [SC-134878][SQL] Scala/Java sql() konumsal parametreleri destekleme
• [SPARK-44078] [SC-134869][BAĞLAN][CORE] Sınıf yükleyici/kaynak yalıtımı desteği ekleme
• [SPARK-43470] [SC-135187][CORE] Uygulama günlüğüne işletim sistemi, Java, Python sürüm bilgileri ekleme
• [SPARK-43136] [SC-135238][BAĞLAN][İzleme] KeyA'lar için test ekleme
• [SPARK-39740] [SC-135093][UI]: CVE-2020-28487'yi düzeltmek için vis zaman çizelgesini 7.7.2'ye yükseltin
• [SPARK-42298] [SC-133952][SQL] _LEGACY_ERROR_TEMP_2132'a ad atama
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Catalog.listTables için isteğe bağlı desen ekleme
• [SPARK-44026] [SC-135181] SQLMetrics için başlangıç değeri sağlamaya izin ver
• [SPARK-44202] [SC-135244][CORE] JavaSparkContext'e JobTag API'leri ekleme
• [SPARK-44030] [SC-135237][SQL] İfade için Unapply sunmak için DataTypeExpression uygulama
• [SPARK-43876] "[SC-134603][SQL] Farklı sorgular için hızlı karma haritayı etkinleştirme"
• [SPARK-40082] [SC-126437] Birleştirmeyi zamanlama Gönderme birleştirme shuffleMapStage yeniden denediğinde ancak çalışan görev olmadığında birleştirmeyi sonlandır
• [SPARK-43888] [SC-132893][CORE] Günlüğü ortak/yardımcı programlara yeniden dağıtma
• [SPARK-43474] [SC-134400] [SS] [BAĞLAN] SparkConnectPlanner'a SessionHolder ekleme
• [SPARK-43944] [SC-134490][BAĞLAN][PYTHON] Scala ve Python'a dize işlevleri ekleme - bölüm 2
• [SPARK-44134] [SC-134954][CORE] Spark-defaults.conf içinde ayarlandığında kaynakların (GPU/FPGA) 0 olarak ayarlanması düzeltildi
• [SPARK-44142] [SC-134947][PYTHON] Python türlerini Spark türlerine dönüştürmek için yardımcı programdaki tpe ile türünü değiştirin
• [SPARK-43952] [SC-134695][CORE][BAĞLAN][SQL] Etikete göre sorgu iptali için SparkContext API'leri ekleme
• [SPARK-44000] [SC-133634][SQL] Birleştirmenin bir tarafının yayınlanmasını ve çoğaltılmasını devre dışı bırakmak için ipucu ekle
• [SPARK-43937] [SC-134362][BAĞLAN][PYTHON] Scala ve Python'a ifnull,isnotnull,equal_null,nullif,nvl,nvl2 ekleme
• [SPARK-43624] [13.x][SC-134557][PS][BAĞLAN] SparkConnectPlanner'a ekleyin EWM .
• [SPARK-44040] [SC-134366][SQL] QueryStageExec'in üzerinde AggregateExec düğümü olduğunda işlem istatistiklerini düzeltme
• [SPARK-43485] [SC-131264][SQL] Datetime add/diff işlevlerinin bağımsız değişkeni için unit hata iletisini düzeltme
• [SPARK-43794] [SC-132561][SQL] Hata sınıfına ad atama _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][BAĞLAN][SS]Spark Connect için Uygulanan MapGroupsWithState ve FlatMapGroupsWithState API'leri
• [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS ifadeleri desteği ve kod temizliği
• [SPARK-44106] [SC-134750][PYTHON][BAĞLAN] Için ekle __repr__GroupedData
• [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206'a ad atama
• [SPARK-43290] [SC-134388][SQL] aes_encrypt IV'ler ve AAD için destek ekler
• [SPARK-43932] [SC-134138][SQL][PYTHON][BAĞLAN] Scala ve Python'a like işlevleri ekleme current
• [SPARK-43934] [SC-134108][SQL][PYTHON][BAĞLAN] Scala ve Python'a regexp_* işlevleri ekleme
• [SPARK-44107] [SC-134746][CONNECT][PYTHON] Desteklenmeyen Sütun yöntemlerini otomatik tamamlama işlevinden gizleme
• [SPARK-42941] [SC-134707][SS][BAĞLAN][1/2] StreamingQueryListener - JSON biçiminde Event Serde
• [SPARK-43773] [SC-132659][BAĞLAN][PYTHON] Python istemcisinde 'levenshtein(str1, str2[, threshold])' işlevlerini uygulama
• [SPARK-44125] [SC-134745][R] SparkR'da Java 21 desteği
• [SPARK-43919] [SC-133374][SQL] Satırdan JSON işlevselliğini ayıklama
• [SPARK-43769] [SC-132520][BAĞLAN] 'levenshtein(str1, str2[, threshold])' işlevlerini uygulama
• [SPARK-44012] [SC-134662][SS] Bazı okuma durumlarını yazdırmak için KafkaDataConsumer
• [SPARK-43876] [SC-134603][SQL] Farklı sorgular için hızlı karma haritayı etkinleştirme
• [SPARK-44024] [SC-134497][SQL] Yalnızca tek bir öğeyi ayıklamak map için kullanıldığında kullanılacak unzip şekilde değiştirin
• [SPARK-43928] [SC-134467][SQL][PYTHON][BAĞLAN] Scala, Python ve Connect API'sine bit işlemleri ekleme
• [SPARK-44092] [SC-134506][CORE] Java 21 ile modül geçişi ekleme Utils.isJavaVersionAtLeast21 ve geçirme core
• [SPARK-44018] [SC-134512][SQL] Bazı DS V2 İfadeleri için hashCode ve toString'i geliştirme
• [SPARK-44105] [SC-134582][SQL] LastNonNull lazily çözülmelidir
• [SPARK-44081] [SC-134434] PartitionedFileUtil API'lerini biraz basitleştirme
• [SPARK-43791] [SC-132531][SQL] Hata sınıfına bir ad atama _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] Çözülmemiş[Yaprak| tanımlama ve kullanmaTekli]Düğüm özellikleri.
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] _LEGACY_ERROR_TEMP_2418-2425 hata sınıfına ad atama
• [SPARK-43742] [SC-132684][SQL] Varsayılan sütun değeri çözümlemeyi yeniden düzenleme
• [SPARK-43493] [SC-132063][SQL] levenshtein() işlevine maksimum uzaklık bağımsız değişkeni ekleme
• [SPARK-44075] [SC-134382][BAĞLAN] Tembellik yapma transformStatCorr
• [SPARK-43925] [SC-134381][SQL][PYTHON][BAĞLAN] Scala, Python ve Connect'e bazı, bool_or,bool_and,her öğesini ekleyin
• [SPARK-43931] [SC-134158][SQL][PYTHON][BAĞLAN] Scala ve Python'a make_* işlevler ekleme
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] _LEGACY_ERROR_TEMP_24 hata sınıfına ad atama[06-10]
• [SPARK-43962] [SC-133367][SQL] Hata iletilerini iyileştirme: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][BAĞLAN][PYTHON] Scala ve Python'a to_* işlevleri ekleme
• [SPARK-44055] [SC-134321][CORE] CheckpointRDD'dan yedekli override işlevlerini kaldırma
• [SPARK-43802] [SC-132597][SQL] failOnError=true ile unhex ve unbase64 için codegen düzeltmesi
• [SPARK-43798] [SC-133990][SQL][PYTHON] Python kullanıcı tanımlı tablo işlevlerini destekleme
• [SPARK-43941] [SC-134286][SQL][PYTHON][BAĞLAN] Scala, Python ve Connect API'sine any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value any_value ekleme
• [SPARK-43380] [SC-133100][SQL] Yanlış sonuçlar üretmemek için Avro veri türü dönüştürme sorunlarını düzeltme
• [SPARK-43803] [SC-133729] [SS] [BAĞLAN] İstemci bağlantı kesilmelerini işlemek için awaitTermination() geliştirme
• [SPARK-43179] [SC-129070][SHUFFLE] Uygulamaların meta verilerinin Dış Karıştırma Hizmeti tarafından db'ye kaydedilip kaydedilmediğini denetlemesine izin verme

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBC'yi indirin, JDBC'yi indirin).

Bkz . Databricks Runtime 13.3 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Gölü: 2.4.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları 2023-02-10'da Microsoft CRAN anlık görüntüsünden yüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)