Databricks Runtime 15.3 (EoS)

Aşağıdaki sürüm notları, Apache Spark 3.5.0 tarafından desteklenen Databricks Runtime 15.3 hakkında bilgi sağlar.

Databricks bu sürümü Haziran 2024'te yayımladı.

Yeni özellikler ve geliştirmeler

PySpark DataSources artık akış okuma ve yazmayı destekliyor

Özel veri kaynaklarından okumayı ve özel veri havuzlarına yazmayı etkinleştiren PySpark DataSources artık akış okuma ve yazma desteğine sahip. bkz. PySpark özel veri kaynakları.

Bırakma özelliğiyle sütun eşlemeyi devre dışı bırakma

Artık Delta tablolarında sütun eşlemesini devre dışı bırakmak ve tablo protokollerini düşürmek için DROP FEATURE kullanabilirsiniz. Bkz. Sütun eşlemesini devre dışı bırakma.

Genel Önizleme'de değişken türü söz dizimi ve işlevleri

VARIANT türü olarak yarı yapılandırılmış verilerle çalışmak için yerel Apache Spark desteği artık Spark DataFrames ve SQL'de kullanılabilir. Bkz. Değişken verileri sorgulama.

Genel Önizlemede Delta Lake için varyant türü desteği

Delta Lake destekli tablolarda yarı yapılandırılmış verileri depolamak için artık VARIANT kullanabilirsiniz. Delta Lake'de Varyant desteğine bakın.

Görünümlerde farklı şema evrimi modları için destek

CREATE VIEW ve ALTER VIEW artık bir şema bağlama modu ayarlamanıza olanak tanır ve görünümlerin temel nesnelerdeki şema değişikliklerini işleme şeklini geliştirir. Bu özellik, görünümlerin temel alınan nesnelerdeki şema değişikliklerini tolere etmelerini veya uyarlamalarını sağlar. Nesne tanımlarında yapılan değişikliklerden kaynaklanan sorgu şemasındaki değişiklikleri giderir.

Spark Connect Scala istemcisine eklenen observe() yöntemleri desteği

Spark Connect Scala istemcisi artık Dataset.observe() yöntemlerini destekliyor. Bu yöntemlerin desteği, Dataset veya ds.observe("name", metrics...) yöntemlerini kullanarak bir ds.observe(observationObject, metrics...) nesnede gözlemlemek üzere ölçümler tanımlamanızı sağlar.

Otomatik Yükleyici için akış yeniden başlatma süresinde iyileştirme

Bu sürüm, Otomatik Yükleyici için akış yeniden başlatma gecikme süresini geliştiren bir değişiklik içerir. Bu geliştirme, RocksDB durum deposu tarafından durum yüklemesini zaman uyumsuz hale getirerek uygulanır. Bu değişiklikle, önceden alınmış büyük miktarda dosya içeren akışlar gibi büyük durumlara sahip akışlar için başlangıç sürelerinde bir iyileşme görmelisiniz.

DataFrame'i pyarrow.Table olarak döndürme

Bir DataFrame'in doğrudan Apache Arrow pyarrow.Table nesnesine yazılmasını desteklemek için bu sürüm DataFrame.toArrow() işlevini içerir. Apache Arrow'u PySpark'ta kullanma hakkında daha fazla bilgi edinmek için bkz. Apache Arrow'un PySpark'ta kullanımı.

Bazı pencere işlevleri için performans iyileştirmesi

Bu sürüm, bazı Spark pencere işlevlerinin, özellikle de ORDER BY yan tümcesi veya window_frame parametresi içermeyen işlevlerin performansını geliştiren bir değişiklik içerir. Bu gibi durumlarda, sistem sorguyu bir toplama işlevi kullanarak çalıştırmak için yeniden yazabilir. Bu değişiklik, kısmi toplama kullanarak ve çalışan pencere işlevlerinin yükünü önleyerek sorgunun daha hızlı çalışmasını sağlar. Spark yapılandırma parametresi spark.databricks.optimizer.replaceWindowsWithAggregates.enabled bu iyileştirmeyi denetler ve varsayılan olarak true olarak ayarlanır. Bu iyileştirmeyi kapatmak için spark.databricks.optimizer.replaceWindowsWithAggregates.enabledfalseolarak ayarlayın.

try_mod işlevi için destek eklendi

Bu sürüm, PySpark try_mod() işlevi için destek ekler. Bu işlev, iki sayısal değerin bölünmesinden kalan tamsayının ANSI SQL uyumlu hesaplamasını destekler. Bölen bağımsız değişkeni 0 ise, try_mod() işlevi özel durum atmadan boş değer döndürür. Siz, bölen bağımsız değişkeni 0 ise ve ANSI SQL etkinse istisna oluşturan try_mod() veya modişlevleri yerine % işlevini kullanabilirsiniz.

list_secrets()'da isteğe bağlı kapsam parametresi için destek

Bu sürüm, list_secrets() tablo işlevinin sonuçlarını belirli bir kapsamla sınırlamanıza olanak tanır.

Hata düzeltmeleri

Spark kullanıcı arabirimindeki WriteIntoDeltaCommand ölçümleri artık doğru görüntüleniyor

Bu sürüm, Execute WriteIntoDeltaCommand düğümü için Spark kullanıcı arabiriminin SQL sekmesinde görüntülenen ölçümlere yönelik bir düzeltme içerir. Daha önce bu düğüm için gösterilen ölçümlerin tümü sıfırdı.

Pandas API'sindeki groupby() işlevi, as_index=False bağımsız değişkenini görmezden geldi.

Bu sürüm, Spark üzerinde Pandas API'sindeki groupby() işleviyle ilgili bir sorun için bir düzeltme içerir. Bu düzeltmeden önce, toplama sütunlarının yeniden etiketlenmesine ve as_index=False bağımsız değişkenine sahip bir groupby() örneği, sonuçta elde edilen DataFrame'de grup anahtarlarını içermezdi.

Diğer fonksiyonların çıktısını referans alan birden çok pencere fonksiyonu ile ayrıştırma hatası.

Bu sürüm, bir Spark sorgusunun ardışık birden çok pencere işlevine sahip olduğu ve pencere işlevlerinin diğer pencere işlevlerinden çıkışa başvurduğu bir sorunu düzeltir. Nadir durumlarda, sistem referanslardan birini bırakarak sorguyu değerlendirirken hatalara yol açabilir. Bu güncelleme, sorgunun doğru değerlendirilmesini sağlamak amacıyla bu başvuruları projeksiyon etmektedir. Bu değişiklik, varsayılan olarak true olarak ayarlanmış spark.databricks.optimizer.collapseWindows.projectReferencesSpark yapılandırma parametresi tarafından denetlenır. Bu değişikliği kapatmak için spark.databricks.optimizer.collapseWindows.projectReferencesfalseolarak ayarlayın.

Kitaplık yükseltmeleri

• Yükseltilen Python kitaplıkları:
  • 3.13.1 ile 3.13.4 arasında dosya kilidi
• Yükseltilen R kütüphaneleri:
• Yükseltilen Java kitaplıkları:
  • org.rocksdb.rocksdbjni 8.3.2 ile 8.11.4 arasında

Apache Spark

Databricks Runtime 15.3, Apache Spark 3.5.0'ı içerir. Bu sürüm, Databricks Runtime 15.2 (EoS)dahil edilen tüm Spark düzeltmeleri ve iyileştirmelerinin yanı sıra Spark'ta yapılan aşağıdaki ek hata düzeltmelerini ve iyileştirmeleri içerir:

• [SPARK-48211] [DBRRM-1041][15.x][15.3] Geri al “[SC-165552][SQL] DB2: SMALLINT'i Sho olarak oku…
• [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] SPARK-47904'u geri alma: EnableStableIdentifiersForUnionType için Avro şemasında büyük/küçük harf yapısını koruma
• [SPARK-48288] [SC-166141] Bağlayıcı atama ifadesi için kaynak veri türü ekleme
• [SPARK-48175] [SC-166341][SQL][PYTHON] Harmanlama bilgilerini SER/DE için değil meta verilerde depolayın
• [SPARK-48172] [SC-166078][SQL] JDBCDialects'teki kaçış sorunlarını düzeltme
• [SPARK-48186] [SC-165544][SQL] AbstractMapType desteği eklendi
• [SPARK-48031] [SC-166523] SCHEMA BINDING'e eski sistem görünümleri
• [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] İşlev ekleme timestamp_add
• [SPARK-48330] [SC-166458][SS][PYTHON] Büyük tetikleyici aralığı için Python akış veri kaynağı zaman aşımı sorununu düzeltin
• [SPARK-48369] Revert "[SC-166494][SQL][PYTHON][CONNECT] Add function timestamp_add"
• [SPARK-48336] [SC-166495][PS][CONNECT] Spark Connect'te ps.sql uygulama
• [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] İşlev ekleme timestamp_add
• [SPARK-47354] [SC-165546][SQL] Değişken ifadeler için harmanlama desteği ekleme
• [SPARK-48161] [SC-165325][SQL] Geri döndürülen PR düzeltildi - JSON ifadeleri için harmanlama desteği eklendi
• [SPARK-48031] [SC-166391] ViewSchemaMode yapılandırmasını ayrıştırın, SHOW CREATE TABLE desteği ekleyin
• [SPARK-48268] [SC-166217][CORE] SparkContext.setCheckpointDir için yapılandırma ekleme
• [SPARK-48312] [ES-1076198][SQL] Alias.removeNonInheritableMetadata performansını geliştirme
• [SPARK-48294] [SC-166205][SQL] NestedTypeMissingElementTypeError içinde küçük harf işleme
• [SPARK-47254] [SC-158847][SQL] Hata sınıflarına ad atama _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749][SQL] _LEGACY_ERROR_TEMP_323[6-7] ve _LEGACY_ERROR_TEMP_324[7-9] hata sınıflarına ad atama
• [SPARK-48310] [SC-166239][PYTHON][CONNECT] Önbelleğe alınan özellikler kopya döndürmelidir
• [SPARK-48308] [SC-166152][Core] FileSourceStrategy'de bölüm sütunları olmadan veri şeması almayı birleştirme
• [SPARK-48301] [SC-166143][SQL] CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACECREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE olarak yeniden adlandır
• [SPARK-48287] [SC-166139][PS][CONNECT] Yerleşik timestamp_diff yöntemini uygulama
• [SPARK-47607] [SC-166129] Yapılandırılmış günlük çerçevesi için belge ekleme
• [SPARK-48297] [SC-166136][SQL] Char/varchar ile regresyon TRANSFORM yan tümcesini düzeltme
• [SPARK-47045] [SC-156808][SQL] IllegalArgumentExceptionSparkIllegalArgumentException'da sql/api ile değiştirme
• [SPARK-46991] [SC-156399][SQL] IllegalArgumentException'da SparkIllegalArgumentException'yi catalyst ile değiştirme
• [SPARK-48031] [SC-165805][SQL] Şema evrimini görüntüleme desteği
• [SPARK-48276] [SC-166116][PYTHON][CONNECT] __repr__ için eksik SQLExpression yöntemini ekleme
• [SPARK-48278] [SC-166071][PYTHON][CONNECT] Cast dize gösterimini daraltma
• [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] İşlev ekleme timestamp_diff
• [SPARK-47798] [SC-162492][SQL] Ondalık değerlerin okuma hataları için hata iletisini zenginleştirin
• [SPARK-47158] [SC-158078][SQL] sqlState'e uygun ad ve _LEGACY_ERROR_TEMP_(2134|2231)'yi atama
• [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient, muhtemelen NPE'nin FetchFailedException'a neden olmasına yol açabilir.
• [SPARK-48277] [SC-166066] ErrorClassesJsonReader.getErrorMessage için hata iletisini iyileştirme
• [SPARK-47545] [SC-165444][CONNECT] Scala istemcisi için veri kümesi observe desteği
• [SPARK-48954] [SC-171672][SQL] try_mod işlevi ekleme
• [SPARK-43258] [SC-158151][SQL] Hata _LEGACY_ERROR_TEMP_202[3,5]'e ad atama
• [SPARK-48267] [SC-165903][SS] SPARK-47305 ile regresyon e2e testi
• [SPARK-48263] [SC-165925] UTF8_BINARY olmayan dizeler için harmanlama işlevi desteği
• [SPARK-48260] [SC-165883][SQL] Bir ParquetIOSuite testinde çıkış işleme koordinasyonu devre dışı bırak
• [SPARK-47834] [SC-165645][SQL][CONNECT] @deprecated'da SQLImplicits ile kullanım dışı işlevleri işaretleyin
• [SPARK-48011] [SC-164061][Core] Yeni dize örnekleri oluşturmaktan kaçınmak için LogKey adını değer olarak depolayın
• [SPARK-48074] [SC-164647][Core] JSON günlüklerinin okunabilirliğini geliştirme
• [SPARK-44953] [SC-165866][CORE] Karışık izleme başka bir DA destekli mekanizmayla birlikte etkinleştirildiğinde uyarıyı günlüğe kaydetme
• [SPARK-48266] [SC-165897][CONNECT] Paket nesnesi org.apache.spark.sql.connect.dsl test dizinine taşıma
• [SPARK-47847] [SC-165651][CORE] Kullanımına Son Verme spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][CORE] o.rocksdb.Logger'nin kullanım dışı bırakılmış oluşturucularının kullanımını gözden geçirme ve temizleme
• [SPARK-48235] [SC-165669][SQL] getBroadcastBuildSide ve getShuffleHashJoinBuildSide fonksiyonlarına tüm bağımsız değişkenler yerine doğrudan 'join' değerini iletin.
• [SPARK-48224] [SC-165648][SQL] Eşleme anahtarlarının değişken türünde olmasını yasakla
• [SPARK-48248] [SC-165791][PYTHON] inferArrayTypeFromFirstElement'in eski yöntemini dikkate almak için iç içe dizinin düzenlenmesi düzeltildi.
• [SPARK-47409] [SC-165568][SQL] StringTrim işlev/ifade türü için harmanlama desteği ekleme (UTF8_BINARY & LCASE için)
• [SPARK-48143] [ES-1095638][SQL] UnivocityParser ile FailureSafeParser arasında denetim akışı için basit özel durumlar kullanın
• [SPARK-48146] [SC-165668][SQL] İfade alt onayı ile içindeki toplama işlevini düzeltme
• [SPARK-48161] Revert "[SC-165325][SQL] JSON ifadeleri için harmanlama desteği ekleme"
• [SPARK-47963] [CORE] Dış Spark ekosisteminin yapılandırılmış günlük mekanizmalarını kullanabilmesini sağlama
• [SPARK-48180] [SC-165632][SQL] TABLE arg ile UDTF çağrısında birden fazla PARTITION/ORDER BY ifade etrafında parantez koymayı unutma durumunda hata mesajını geliştirme
• [SPARK-48002] [SC-164132][PYTHON][SS] PySpark StreamingQueryListener'da gözlemlenen ölçümler için test ekleme
• [SPARK-47421] [SC-165548][SQL] URL ifadeleri için harmanlama desteği ekleme
• [SPARK-48161] [SC-165325][SQL] JSON ifadeleri için harmanlama desteği ekleme
• [SPARK-47359] [SC-164328][SQL] Harmanlanmış dizelerle çalışmak için TRANSLATE işlevini destekleme
• [SPARK-47365] [SC-165643][PYTHON] PySpark'a ToArrow() DataFrame yöntemi ekleme
• [SPARK-48228] [SC-165649][PYTHON][CONNECT] ApplyInXXX'te eksik işlev doğrulamasını uygulama
• [SPARK-47986] [SC-165549][CONNECT][PYTHON] Sunucu tarafından varsayılan oturum kapatıldığında yeni oturum oluşturulamıyor
• [SPARK-47963] Revert "[CORE] Dış Spark ekosisteminin yapılandırılmış günlük mekanizmalarını kullanmasını sağlama "
• [SPARK-47963] [CORE] Dış Spark ekosisteminin yapılandırılmış günlük mekanizmalarını kullanabilmesini sağlama
• [SPARK-48208] [SC-165547][SS] Sınırlı bellek kullanımı etkin olduğunda RocksDB'den bellek kullanım ölçümlerinin sağlanmasını atlayın
• [SPARK-47566] [SC-164314][SQL] Harmanlanmış dizelerle çalışmak için SubstringIndex işlevini destekleme
• [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: Değişkenlerle logError'ı yapılandırılmış günlük çerçevesine geçirme
• [SPARK-48205] [SC-165501][PYTHON] Python veri kaynakları için private[sql] değiştiricisini kaldırma
• [SPARK-48173] [SC-165181][SQL] CheckAnalysis sorgu planının tamamını görmelidir
• [SPARK-48197] [SC-165520][SQL] Geçersiz lambda işlevi için doğrulama hatasından kaçınılması
• [SPARK-47318] [SC-162573][CORE] Standart KEX uygulamalarını takip etmek için AuthEngine anahtar türetmeye HKDF turu ekler.
• [SPARK-48184] [SC-165335][PYTHON][CONNECT] İstemci tarafında her zaman Dataframe.sample çekirdeğini ayarla
• [SPARK-48128] [SC-165004][SQL] BitwiseCount / bit_count ifadesi için boole türü girişlerinde codegen söz dizimi hatasını düzeltin
• [SPARK-48147] [SC-165144][SS][CONNECT] Yerel Spark oturumu silindiğinde istemci tarafı dinleyicilerini kaldırma
• [SPARK-48045] [SC-165299][PYTHON] Multi-agg-relabel ile Pandas API groupby, as_index=False'ı yoksayar
• [SPARK-48191] [SC-165323][SQL] Dize kodlama ve kod çözme için UTF-32 desteği
• [SPARK-45352] [SC-137627][SQL] Katlanabilir pencere bölümlerini kaldırma
• [SPARK-47297] [SC-165179][SQL] Biçim ifadeleri için harmanlama desteği ekleme
• [SPARK-47267] [SC-165170][SQL] Karma ifadeler için harmanlama desteği ekleme
• [SPARK-47965] [SC-163822][CORE] TypedConfigBuilder ve OptionalConfigEntry'de orNull'tan kaçının
• [SPARK-48166] [SQL] VariantExpressionEvalUtils'te kullanıcıya yönelik hata olarak BadRecordException kullanmaktan kaçının
• [SPARK-48105] [SC-165132][SS] Durum deposu yükleme ve anlık görüntü yükleme arasındaki yarış durumunu düzeltme
• [SPARK-47922] [SC-163997][SQL] try_parse_json ifadesini uygulama
• [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136][SQL] Try_add/try_multiply ile toplama/çarpma arasındaki anlamsal eşitliği düzeltme
• [SPARK-48107] [SC-164878][PYTHON] Testleri Python dağıtımının dışında tutma
• [SPARK-46894] [SC-164447][PYTHON] PySpark hata koşullarını tek başına JSON dosyasına taşıma
• [SPARK-47583] [SC-163825][CORE] SQL core: Değişkenlerle logError'ı yapılandırılmış loglama çerçevesine taşımak
• [SPARK-48064] Revert "[SC-164697][SQL] Rutinle ilgili hata sınıfları için hata iletilerini güncelleştir"
• [SPARK-48048] [SC-164846][CONNECT][SS] Scala için istemci tarafı dinleyici desteği eklendi
• [SPARK-48064] [SC-164697][SQL] Yordamla ilgili hata sınıfları için hata iletilerini güncelleştirme
• [SPARK-48056] [SC-164715][CONNECT][PYTHON] SESSION_NOT_FOUND hatası oluşursa ve kısmi yanıt alınmazsa planı yeniden yürütür
• [SPARK-48124] [SC-165009][CORE] Connect-Repl için yapılandırılmış günlüğü varsayılan olarak devre dışı bırakma
• [SPARK-47922] Revert "[SC-163997][SQL] try_parse_json ifadesini uygulama"
• [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys koşulu fazla katı
• [SPARK-48114] [SC-164956][CORE] Gereksiz çalışmayı önlemek için ön derleme şablonu kayıt defteri
• [SPARK-48067] [SC-164773][SQL] Değişken varsayılan sütunlarını düzeltme
• [SPARK-47922] [SC-163997][SQL] try_parse_json ifadesini uygulama
• [SPARK-48075] [SC-164709] [SS] PySpark avro işlevleri için tür denetimi ekleme
• [SPARK-47793] [SC-164324][SS][PYTHON] Python akış veri kaynağı için SimpleDataSourceStreamReader uygulama
• [SPARK-48081] [SC-164719] Bağımsız değişken katlanamaz veya yanlış türde olduğunda NTile.checkInputDataTypes() içindeki ClassCastException hatası giderildi.
• [SPARK-48102] [SC-164853][SS] Akış sorgusu ilerleme durumunu bildirirken kaynak/havuz ölçümlerini alma süresini izleme
• [SPARK-47671] [SC-164854][Core] log4j2.properties.template dosyasında yapılandırılmış günlüğü etkinleştirme ve belgeleri güncelleştirme
• [SPARK-47904] [SC-163409][SQL] EnableStableIdentifiersForUnionType kullanırken Avro şemasında büyük/küçük harf koruma
• [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType DDL dizesini ayrıştırma
• [SPARK-46922] [SC-156102][CORE][SQL] Çalışma zamanı kullanıcıya yönelik hataları sarmalamayın
• [SPARK-48047] [SC-164576][SQL] Boş TreeNode etiketlerinin bellek baskısını azaltma
• [SPARK-47934] [SC-164648] [CORE] HistoryServer URL yeniden yönlendirmelerinde sonda eğik çizgi olduğundan emin olun
• [SPARK-47921] [SC-163826][CONNECT] ExecuteHolder'da ExecuteJobTag oluşturmayı düzeltme
• [SPARK-48014] [SC-164150][SQL] EvaluatePython'daki makeFromJava hatasını kullanıcıya yönelik hata olarak değiştirme
• [SPARK-47903] [SC-163424][PYTHON] PySpark Variant kitaplığında kalan skaler türler için destek ekleme
• [SPARK-48068] [SC-164579][PYTHON] parametresi olmalıdır
• [SPARK-47846] [SC-163074][SQL] from_json ifadesinde Değişken türü desteği eklendi
• [SPARK-48050] [SC-164322][SS] Sorgu başlangıcında mantıksal planın kaydedilmesi
• [SPARK-47810] [SC-163076][SQL] Eşdeğer ifadeyi birleştirme koşulunda <=> olarak değiştirme
• [SPARK-47741] [SC-164290] Ayrıştırıcıda yığın taşması durumu işleme ekleme yapıldı
• [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame desteklenmeyen seçenekler için uyarmalıdır
• [SPARK-47939] [SC-164171][SQL] ExplainCommand ve DescribeQueryCommand içinde ParameterizedQuery'yi taşımak için yeni bir Çözümleyici kuralı uygulama
• [SPARK-48063] [SC-164432][CORE] spark.stage.ignoreDecommissionFetchFailure varsayılan olarak etkinleştirme
• [SPARK-48016] [SC-164280][SQL] Ondalıklar olduğunda try_divide işlevindeki bir hatayı düzeltme
• [SPARK-48033] [SC-164291][SQL] Varsayılan sütunlarda kullanılan RuntimeReplaceable ifadelerini düzeltme
• [SPARK-48010] [SC-164051][SQL][ES-1109148] resolveExpression'da conf.resolver'a yinelenen çağrılardan kaçının
• [SPARK-48003] [SC-164323][SQL] Hll taslak toplaması için harmanlama desteği ekleme
• [SPARK-47994] [SC-164175][SQL] SQLServer'da CASE WHEN sütun filtresinin aşağı itilmesiyle ilgili hata düzeltildi
• [SPARK-47984] [SC-163837][ML][SQL] MetricsAggregate/V2Aggregator#serialize/deserializeSparkSerDeUtils#serialize/deserialize çağrılacak şekilde değiştir
• [SPARK-48042] [SC-164202][SQL] Yöntem düzeyinde kopya yapmak yerine sınıf düzeyinde saat dilimiyle zaman damgası biçimlendirici kullanma
• [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] Yapılandırılmış günlük geçişleri
• [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] Yapılandırılmış Log Geçişleri
• [SPARK-47567] [SC-164172][SQL] Harmanlanmış dizelerle çalışmak için LOCATE işlevini destekleme
• [SPARK-47764] [SC-163820][CORE][SQL] ShuffleCleanupMode tabanlı karıştırma bağımlılıklarını temizleme
• [SPARK-48039] [SC-164174][PYTHON][CONNECT] group.apply için hata sınıfını güncelleştirme
• [SPARK-47414] [SC-163831][SQL] Regexp ifadeleri için küçük harf harmanlama desteği
• [SPARK-47418] [SC-163818][SQL] Unicode farkındalığıyla küçük harf "contains", "startsWith" ve "endsWith" için el ile hazırlanmış uygulamalar ekleyin ve UTF8_BINARY_LCASE'ı optimize edin.
• [SPARK-47580] [SC-163834][SQL] SQL katalizör: hata günlüklerindeki adlandırılmamış değişkenleri kaldırma
• [SPARK-47351] [SC-164008][SQL] StringToMap & Maske dize ifadeleri için harmanlama desteği ekleme
• [SPARK-47292] [SC-164151][SS] safeMapToJValue null yazılan değerleri dikkate almalıdır
• [SPARK-47476] [SC-164014][SQL] Sıralanmış dizelerle çalışmak için DEĞİŞTİR işlevini destekleme
• [SPARK-47408] [SC-164104][SQL] StringType kullanan matematiksel ifadeleri düzeltme
• [SPARK-47350] [SC-164006][SQL] SplitPart dize ifadesi için harmanlama desteği ekleme
• [SPARK-47692] [SC-163819][SQL] Örtük dönüşümde varsayılan StringType anlamını düzeltme
• [SPARK-47094] [SC-161957][SQL] SPJ: Eşit olmayan demet sayısını dinamik olarak yeniden dengeleme
• [SPARK-48001] [SC-164000][CORE] Kullanılmayan private implicit def arrayToArrayWritable'yi SparkContext'tan kaldır
• [SPARK-47986] [SC-163999][CONNECT][PYTHON] Sunucu tarafından varsayılan oturum kapatıldığında yeni oturum oluşturulamıyor
• [SPARK-48019] [SC-164121] ColumnVector/ColumnarArray içindeki yanlış davranışı sözlük ve null değerlerle düzeltme
• [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] Yapılandırılmış günlük geçişleri
• [SPARK-47999] [SC-163998][SS] HDFS destekli durum deposu sağlayıcısında anlık görüntü oluşturma ve durum önbellek haritasına girdi ekleme/kaldırma süreçleri etrafında günlüğe kaydetmeyi geliştirme
• [SPARK-47417] [SC-162872][SQL] Harmanlama desteği: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Cümleler
• [SPARK-47712] [SC-161871][CONNECT] Bağlantı eklentilerinin Veri Kümeleri oluşturmasına ve işlemesine izin ver
• [SPARK-47411] [SC-163351][SQL] Harmanlanmış dizelerle çalışmak için StringInstr & FindInSet işlevlerini destekleme
• [SPARK-47360] [SC-163014][SQL] Harmanlama desteği: Katman, FormatString, Uzunluk, BitLength, OctetLength, SoundEx, Luhncheck
• [SPARK-47413] [SC-163323][SQL] - harmanlamalar için alt dizeye/sola/sağa destek ekleme
• [SPARK-47983] [SC-163835][SQL] spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled dosyasını iç sürümle sınırlamak
• [SPARK-47964] [SC-163816][PYTHON][CONNECT] pyspark-connect'te SQLContext ve HiveContext'i gizleme
• [SPARK-47985] [SC-163841][PYTHON] lit ile işlevleri basitleştirme
• [SPARK-47633] [SC-163453][SQL] Daha tutarlı kurallı hale getirme için sağ taraftaki plan çıkışını LateralJoin#allAttributes'ye dahil et
• [SPARK-47909] Revert "[PYTHON][CONNECT] Parent DataFrame class f...
• [SPARK-47767] [SC-163096][SQL] TakeOrderedAndProjectExec içinde uzaklık değerini göster
• [SPARK-47822] [SC-162968][SQL] Hash İfadelerinin Değişken Veri Türünü hash'lemesi yasaklanması
• [SPARK-47490] [SC-160494][SS] Kullanımdan kaldırma uyarısını önlemek için RocksDB Logger oluşturucu kullanımını düzeltme
• [SPARK-47417] Revert "[SC-162872][SQL] Harmanlama desteği: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
• [SPARK-47352] [SC-163460][SQL] Upper, Lower, InitCap harmanlama farkındalığını düzeltme
• [SPARK-47909] [PYTHON][CONNECT] Spark Connect ve Spark Classic için ebeveyn DataFrame sınıfı
• [SPARK-47417] [SC-162872][SQL] Harmanlama desteği: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Cümleler

Databricks ODBC/JDBC sürücü desteği

Databricks, son 2 yılda yayımlanan ODBC/JDBC sürücülerini destekler. Lütfen son yayınlanan sürücüleri indirin ve yükseltin (ODBCindirin JDBCindirin).

Bkz. Databricks Runtime 15.3 bakım güncelleştirmeleri.

Sistem ortamı

• İşletim Sistemi: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

Yüklü Python kitaplıkları

Yüklü R kitaplıkları

R kitaplıkları, Posit Paket Yöneticisi CRAN anlık görüntüsündenyüklenir.

Yüklü Java ve Scala kitaplıkları (Scala 2.12 küme sürümü)